换脸模型对不同清晰度视频进行换脸，效果不同。

xiaozhihongtong

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

各位老师，请教一个问题。我用比较清晰的src训练换脸模型后，分别对较为模糊的视频和正常视频进行换脸，发现同一个模型，不同的源视频，换脸后的清晰度也不一样。较为模糊的视频换脸后的结果也比较模糊。讲道理模型权重是用清晰的素材训练的，对较为模糊的视频换脸后应该也会比较清晰才对呢。请问这种情况如何解决呢。感恩各位。

seancai110

这样不是更好吗？你模糊的视频顶着一张清晰的脸才奇怪呢

xiaozhihongtong

有大佬帮忙回答一下吗  非常感谢

come3002

对楼主的反馈现象感兴趣。重复了楼主的实验。
模糊图片测试
图片选择: 以图片坛友 训练图左上角樱花图片为 DST原图。。
https://dfldata.cc/forum.php?mod=viewthread&tid=15528&extra=page%3D2&page=1


第一步：放大坛友的模糊图片。截图 607x600

第二步：猫版汉化dfl 切脸 WF512，检查debug 脸部位点，脸部识别成功。
也就是说，虽然模糊但是 人脸信息点是无误的。



第三步：模糊图片，零训练直接合成
（参数为默认。也就是说 W、E、T等等都没动过）



第四步：多个底丹/专丹 对比。借助ps做比较。
（参数为默认。也就是说 W、E、T等等都没动过）左上为 6.11高质 底丹
左下为 论坛下载的 刘诗诗专丹
右下为 迪丽热巴RW
右上为原版。



结果：

对于模糊DST，论坛下载的刘诗诗专丹左下角几乎跟 不仅原始图片一样模糊。
同时 长刘海 的右腮/太阳穴位置， 也会出现 影响感观的 白边/黑边异常现象。已经快没刘诗诗的特征了。属于换脸失败的情况。
（6.11高质 底丹牙齿清晰能看到齿缝。刘海右侧也 换脸较好影响，属于换脸成功）




是不是 比较清晰的Dst 就好一些呢？

补充实验：
实验目的：DST 为 高清
我找了一份 4k 樱花国 ，中远景   切WF1024
零训练、直接合成，（参数为默认。也就是说 W、E、T等等都没动过）


图1 为 原版  （3860x2160 ，上传论坛有压缩）
图2为 6.11高质 。
图3为 迪丽热巴RW



左 为 原版 （3860x2160 ，上传论坛有压缩）
中为 6.11高质
右为 论坛下载 刘诗诗 专丹


结果：遇到清晰4k，论坛下载刘诗诗专丹 刘诗诗的特征更多了，更像了，画质也有提升（不过右侧刘海有些黑成一团了）。

结论：论坛下载的刘诗诗专丹 遇到模糊图片结果模糊（几乎没有刘诗诗特征，换脸失败，无意义。），遇到清晰图片结果清晰（有更多刘诗诗特征，换脸成功）。结果与楼主反应的问题相同。

一点建议：遇到这种刘诗诗专丹，或自己炼的专丹也出现，遇强则强遇弱则弱现象。
能用4k不用 1080p。可有效减少楼主反馈的现象发生。
（没4k樱花，也尽量用1080p 60fps高清作品。放弃 720p 画质一般的1080p  。
因为 720p 一般画质的1080p樱花bed激战，动作特别快时候，会产生大量 模糊的镜头，即便是切了出来，将来换脸那么几乎没有刘诗诗等的特征。刘海异常或抖动等影响感观）。
而4k尤其 60fps 30G-50G大小的视频。由于帧率高。画质好。换脸成功机率会增大不少。

xiaozhihongtong

seancai110 发表于 2023-8-23 15:42
这样不是更好吗？你模糊的视频顶着一张清晰的脸才奇怪呢

是这样的，模糊的视频只是嘴巴部分比较模糊（或者说脸部比较模糊，因为是通过wav2lip驱动嘴型后的）

xiaozhihongtong

come3002 发表于 2023-8-23 15:55
对楼主的反馈现象感兴趣。重复了楼主的实验。
模糊图片测试
图片选择: 以图片坛友 训练图左上角樱花图片为  ...

感谢你的实验。这种遇强则强遇弱则弱的现象，是否跟换脸的方法有关，我扒了deepfaceliva换脸部分的代码（https://github.com/iperov/DeepFa ... /FaceMerger.py#L210）在对dst进行换脸时候，换脸模型会将src权重信息通过merge融合的方式贴回dst（这里的dst指的是被换脸的目标图片），如果dst模糊，merge过程中也会保留一部分dst模糊的信息。
其他思考： 我目前用的换脸模型是基于224的预训练模型训练的，是否能通过增大模型分辨率，src分辨率（增加到4k），这种方式训练一个好的模型，再用于较为模糊的目标图片换脸。但是这种思路好像在你的实验中以及验证了，你用比较好的专丹也会得到较差的模型，但是还是确认一下，你用的丹都是多大分辨率的呢

xiaozhihongtong

顶一下

come3002

xiaozhihongtong 发表于 2023-8-23 16:16
感谢你的实验。这种遇强则强遇弱则弱的现象，是否跟换脸的方法有关，我扒了deepfaceliva换脸部分的代码（ ...

我的是6.11 高质 dfud 320 87w迭代底丹
默认参数（W、E、T等都没动）
结果：细节甚至比原图要清晰很多。能看到连原图都看不到的单眼皮，牙齿齿缝。
这一结果由于底丹比较清晰。由此拉高了清晰度。表现似乎并没有受到 模糊的DST的影响
（实际应该是受影响了。假设 底丹和DST各提供一半。底丹是 100清晰度。DST是 20.那么结果是60分。比底丹降低了一些.但又比 原图DST清晰很多）。
一点推测：
所以，零训练直接合成时。dst大概率主要提供人脸的位置信息图为换脸做准备。
另外，根据DST极为模糊时，从model 抽取最接近最模糊的信息，按人脸位置信息图与之对应。
（6.11 高质用 我精选过。全程没用过一张模糊的图片，那么可以诱骗dfl让它从最接近的清晰信息的中找“最差”的）
先不说清晰度很高（底丹是 100清晰度。DST是 20.那么结果是60分。比底丹降低了一些.但又比 原图DST清晰很多）。
更重要的是看似为难了dfl软件，但是无意中，导致合成效果更精准。合适的五官，合适的额头合适的单眼皮等眼皮信息。将丢失信息降到最低。也就是换脸更容易成功。大大降低了抖动可能性，最大限度提升感观。
（但是这个提升也是有限度的。既然DST也提供信息 如果帧帧都这样模糊。也是略有影响的。比如下图刘海右侧 是有淡淡的“灰色”区域的。100分也只能算60分）





================================

lss 是 256 dfud256 280w迭代
默认参数（W、E、T等都没动）
模糊方面：眼皮看不到。牙齿模糊。
异常方面：
缺失一只眼的信息（原图是两只眼信息）。
额头有蓝板，
刘海右侧有异常白斑。
刘海右侧右腮有异常黑斑。
大量信息丢失。属于换脸失败。
挽救的可能性极低。


=====





以刘海右腮区域为例。如果DST是20分刘诗诗最高是100但是此时为了配合DST是抽到20分，，那么结果是20分（如下图刘海右侧 是有深深的“黑色”区域的。几乎全黑了。剩了一点皮肤颜色。100分也只能算20分））。


（不清楚这个底丹这个专丹是如何炼制的。但毫无疑问曾用过模糊素材。

所以，大概率是dst主要提供人脸的位置信息图。
另外，DST极为模糊时候，从 lss这个 model 抽取最接近最模糊的信息与之对应。

但是结果就是大概率是这个对应关系，导致抽取 模糊的图片信息对应，那么出来的就是模糊的，甚至是 连眼睛都丢失的错的等错误）。

此时dfl走了另一个极端。
看似dfl此做法更合理的。模糊对应模糊
（刘诗诗专丹是 抽取的到了20清晰度，DST是 20.那么结果是20分。跟原图DST模糊程度吻合）。
但一个错误不要紧。但五官丢失一个眼信息，额头丢失，刘海右腮异常等，诸多错误累加连在一起，就容易换脸失败，彻底失去挽救的机会。多帧错误。就会出现 额头，眼球（丢了一只眼）抖动等，大大影响感观。

come3002

xiaozhihongtong 发表于 2023-8-23 16:16
感谢你的实验。这种遇强则强遇弱则弱的现象，是否跟换脸的方法有关，我扒了deepfaceliva换脸部分的代码（ ...

演绎推理：按照楼主从代码看的信息演绎推理。
刘诗诗 model 素材原因有个得分范围（假设在100-20之间）。

如果选择4k 60fps DST WF1024（100分-bed激战80分）理想状态下，会抽取model最清晰部分与之对应，最高是帧帧100分（100分-bed激战80分）。发挥这个丹的最大潜力。
又做了补充实验。
实验验证
4k 樱花测试选清晰度较高的一帧。中远景切 WF1024.
零训练直接合成，开 W、E、T


结果：细节非常棒。能看到下牙齿齿缝。
跟刚才模糊帧表现，几乎一个天上一个地下 区别。
结论：刘诗诗的丹，遇到越好的DST4k樱花。效果反而更好。

xiaozhihongtong

come3002 发表于 2023-8-23 20:42
演绎推理：按照楼主从代码看的信息演绎推理。
刘诗诗 model 素材原因有个得分范围（假设在100-20之间）。
...

请问您有512或者640的丹推荐吗
我的显卡是3090,24G.