【探讨】有没有可能基于DF模型给SRC超分，从而走捷径？

Lau9

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

假设你有1024分辨率的热巴SRC，

训练阶段：

先训练一个DF256的万能模型，DST很多，需要大量的迭代，但好在每次迭代的耗时很短。主要是为了泛化性换脸。

再训练一个DF1024超分模型，SRC放热巴1024脸，DST放同样的脸，但是降分辨率到256。由于不泛化，这里的loss应该会下降的很快，很容易出效果。把GAN也开上吧！

合成阶段：

先用DF256把任意的dst换脸成模糊的热巴
再用DF1024二次合成，把热巴清晰化。

Lau9

H8juvbv 发表于 2023-11-17 20:27
想想不大行，确实二次生成更容易出错。有些仰角侧脸点的角度，你重新切图定位都要两遍，麻烦不少。
即使是 ...

resize是不用重新切图landmark的

Lau9

come3002 发表于 2023-11-17 20:16
感谢分享宝贵经验。

不过两个丹，假如第一个丹出现了刘海黑边。

遇到有刘海的就不太适合直接万能了，且不说遮罩问题，可能还有阴影问题。最好还是练一会儿dst 效果更佳

Lau9

H8juvbv 发表于 2023-11-17 20:27
想想不大行，确实二次生成更容易出错。有些仰角侧脸点的角度，你重新切图定位都要两遍，麻烦不少。
即使是 ...

第一次丢失表情也是因为DST只能适配SRC涵盖的表情。所以 第二次应该不会继续丢，会跟第一次合成结果比较一致吧（眼珠子不确定）。

Lau9

wtxx8888 发表于 2023-11-17 22:02
把1080P或4K的DST缩到720P进行换脸，然后TopazVideoAI对合成换过脸的720P视频超分4K，都比你这个强 ...

这个我也试过，还行，但是topaz是对整个视频进行超分。我们希望背景模糊一点，人脸清晰一点。
但是topaz相对于咱们那些人脸超分的工具有有优点也有缺点。优点是连续帧之间光影更稳定 不会闪烁斑点，但单帧的处理效率和效果就比不上论坛里的工具

wtxx8888

Lau9 发表于 2023-11-17 23:50
这个我也试过，还行，但是topaz是对整个视频进行超分。我们希望背景模糊一点，人脸清晰一点。
但是topaz ...

超分这东西最好别碰，碰了就破坏原图。就好比某些特模糊的的图，连肉眼都分辨不出来到底是什么的，AI就更不知道了。
我做过一个实验，一个视频MP4，连续编码60遍后几乎没有清晰的五官了，用AI超分出来，跟原始的几乎就是两个人

come3002

感谢分享宝贵经验。

花了点时间测试了下 楼主的双丹法
（参考了楼主一些方法 炼制了两个丹一个低分辨率，和一个中等分辨率丹） 。
1.一个低分辨率丹，每次迭代的耗时很短。
2.一个中等分辨率丹，水平有限，电脑性能很一般，只能考虑用中等分辨率丹测试。SRC放古力，DST放同样的脸，loss下降的很快，尚未开gan，很容易出 嘴唇纹理等细节效果。


训练一段时间，零训练直接合成，测试能否改善“嘴唇纹理”等细节 。
测试素材选取：
1080p樱花  很普通樱花bed的一帧
（由于画质的原因，脸部细节很一般，上牙齿齿缝都看不清，更不用说嘴唇纹理）。
第一阶段 低分辨率丹
左1 原始，左2 零训练直接合成 后效果。
能看出 合成的图，通过得到了古力的一些五官特征。也有隐约的下牙齿。
光影：跟原版类似的光影
细节：跟原版类似，仍然看不清下牙齿和嘴唇唇纹理
这个丹主要目的是让五官像 古力。
但是能看到比原版细节有微微提升。能看到清晰上牙齿齿缝。


第二阶段 中等分辨率丹
以第一阶段的merged 做DST，再切脸，用高分辨率丹再合成一次。
左2 第二阶段（零训练直接合成）合成后效果。
光影：跟原本类似的光影
细节：五官和脸型继承下来。
提升主要体现在看清下牙齿，也能看到嘴唇纹理，和嘴唇光影
这个丹，主要目的是让五官细节更美。


能看到，经过两次丹处理后，原版 根本看不到一点的嘴唇纹理，出现了至少8-9道 嘴唇纹理，提升巨大。

该方法是对 1080p 樱花 很多镜头 理论是可行的。访谈啊等 画面变得更美了。



不过两个丹，假如第一个丹出现了刘海黑边。
即便用DF1024 第二次合成，刘海海边就会继承下去，并且黑边可能会更严重。出现利滚利，以讹传讹


下图是 论坛坛友提供的一张刘海图片。
我试了下很多论坛下载的专丹，零训练直接合成，黑边或异常白斑非常普遍。





如果想避免 以讹传讹，就要考虑高质量素材。
比如 第一个DF256迪丽热巴 SRC 就要选择 无刘海的 迪丽热巴 ，同时DST 也要选择 无刘海的樱花/欧美来做（既然DST素材无刘海，自然也不会出现如图的刘海黑边） 。最大限度降低以讹传讹现象。
虚影等其他情况也是要一一考虑。

===================

第二个丹，可能不适合远古低质量的樱花。也不适合一般质量的1080p樱花激战。因为以上含大量的模糊帧。
当高速激战人脸从A1 经过A2位置。。。移动到A10位置，再移动回A1。假设A1 A2 A3 A4和A10 A9 A8A7是清晰的. A5-A6是模糊。那么用这个办法后。A1 A2A3 A4和A10 A9 A8A7会极为清晰。其他A5-A6模糊帧就坏了，这样的模糊帧经过二次以讹传讹后会对模糊二次累积。这样的往复运动中增加了清晰镜头和模糊镜头的差距感。诱发抖动而影响感观。
而且速度越高，出错的帧数量越多，可能最多时候 A3-A4-A5-A6-A7,10帧有5帧是错的。


举例：某1080p樱花 高速激战的截图。
截屏发现 该帧出现了错误的牙齿，眼睛部位也是模糊

即便切了信息位点正确，但这样的二次换之后。。，还是牙齿 眼睛等多个部位都异常。（太丑了就不上传图片了）


如果是换脸 樱花1080p。
樱花剧实际有很多镜头，有远景有中景，有近景，按动作有 谈话，也有激战。
假如电脑性能也一般。又想快速出较好的效果。综合测试，推荐以下使用方法  
1.当远景（女主bed全身）/一般质量的高速激战。仍然建议使用第一个低分辨率丹。目的是五官很像SRC特征，但不追求细节。
2.当某些 需要的近景镜头（女主上半身或怼脸），换脸一次发现低分辨率有些吃力。建议考虑双丹法，以merged 为dst再切一次，改用第二个中等分辨率丹再换一次，让近景镜头更美。
（个人观点，仅供参考）

黑羽毛

有想法，这个想法不错，哪位大神先试试水。

H8juvbv

想想不大行，确实二次生成更容易出错。有些仰角侧脸点的角度，你重新切图定位都要两遍，麻烦不少。
即使是正常角度，切图没有困难，第一次合成时候，dst表情已经丢失部分，第二次肯定丢失更多表情。

DFLive

可以但没必要，原生的才是最好的，否则容易以讹传讹，除非素材少得可怜。

wtxx8888

把1080P或4K的DST缩到720P进行换脸，然后TopazVideoAI对合成换过脸的720P视频超分4K，都比你这个强