训练的时候部分脸部模糊怎么回事？

zdqssl

qdpushaver 发表于 2023-8-17 20:28
把图片遮罩清除了，合成阶段按X选镇坛之宝遮罩，试试。

试过了  也不行啊

Mrdeepfake

哈哈，我知道什么原因！让我告诉你！遇到头发分脸的 dst 情形，这种情况很常见。训练前遮罩写入正确，合成时遮罩模式应用也完全正确，但你合成时，被头发分开的那小部分脸一般就是会异常！！原因很简单，因为它就没被学习啊！虽然你训练时遮罩写入正确，但模型训练过程中内部也在学习遮罩，它会对写入 dst  的 XSeg 遮罩进行优化：比如在确保学习到的遮罩不会大于写入的 Xseg 遮罩区域前提下，让遮罩边缘更光滑，如此经常导致学习到的遮罩比写入的 XSeg 遮罩略小；再比如若写入的 XSeg 遮罩在正常脸范围外有小孔漏洞，它会把漏洞忽略，优化为只包含正常脸的遮罩（这种情况当然是我们喜欢的，可以对参与训练的 dst 脸遮罩要求不必太严格，允许脸之外存在些小漏洞）。但问题也正出在第二点，这种模型内部对遮罩的优化学习会导致遇到这种 dst 脸被头发分为两部分的情形，它会只把包含五官的那部分脸囊括进来进行学习，被头发分割出去的另一部分脸就被优化当成遮罩外了，并不会被学习。若你模型训练开启“优先学习遮罩内部”，这种情况几乎是无解的，为了增加合成结果的和谐性，你必须选择合适的肤色转换模式，还要配合合成时选择的遮罩模式只囊括进五官的那部分脸，让被头发分割的两部分脸肤色尽量一致。还有一种解决方案，我没试过，你可以试试。那就是训练时把“优先学习遮罩内部”选项关闭，学习整个图像。说不定能解决这一问题（但风险和代价你自己来承担）。

come3002

对楼主的图片很感兴趣做了一组实验。


第一步：放大楼主的图片。截图 607x600




第二步：猫版汉化dfl 切脸 WF512，检查debug 脸部位点，脸部识别成功。



第三步：零训练直接合成
（参数为默认。也就是说 W、E、T等等都没动过）


第四步：多个底丹/专丹 对比。借助ps做比较。
左上为 6.11高质 底丹
左下为 论坛下载的专丹
右下为 迪丽热巴RW
右上为原版。


一束长刘海为分界线 ，左侧细节都很好
但是其右侧有多种脸。
图1 图2 白色箭头 腮部淡淡灰边 基本不影响感观
图3 图4 红色箭头 腮部异常黑边 直接影响感观
图3 蓝色箭头 太阳穴 异常白边（这一结果跟楼主的相同）。直接影响感观





结果：很多底丹或专丹 长刘海 的右腮/太阳穴位置， 也会出现 影响感观的 白边/黑边异常现象。

鉴于我截图 的楼主的训练图片，T是 比较模糊的。是不是 比较清晰的Dst 就好一些呢？

补充实验：
实验目的：DST 为 高清长刘海 是否刘海右侧有 异常黑边
我找了一份 4k 樱花国 ，中远景 长刘海 切WF1024
零训练、直接合成，（参数为默认。也就是说 W、E、T等等都没动过）


图1 为 原版  （3860x2160 ，上传论坛有压缩）
图2为 6.11高质 底丹
图3为 迪丽热巴RW


图2 和图3 长刘海 右侧 均有不同程度的灰或黑边。
尤其迪丽热巴RW的那个，右侧 是不均匀的黑的刘海，这样的连续帧容易产生抖动 影响感观。

左 为 原版 （3860x2160 ，上传论坛有压缩）
中为 6.11高质 底丹
右为 论坛下载专丹


图2 和图3 长刘海 右侧 均有不同程度的灰或黑边。
尤其论坛下载的那个，右侧几乎全黑了。
结果与上述实验结果相同。

zdqssl

Mrdeepfake 发表于 2023-8-17 22:26
哈哈，我知道什么原因！让我告诉你！遇到头发分脸的 dst 情形，这种情况很常见。训练前遮罩写入正确，合成 ...

谢谢！我试一下

zdqssl

come3002 发表于 2023-8-18 00:50
对楼主的图片很感兴趣做了一组实验。

大佬啊！谢谢你如此细致的实验，请问有什么解决办法吗？

come3002

zdqssl 发表于 2023-8-18 05:06
大佬啊！谢谢你如此细致的实验，请问有什么解决办法吗？

一般而言，这在以前网友反馈属于 抖动范畴。
（大概意思是 零训练直接合成，换脸后刘海一侧 右腮/太阳穴会有颜色特别明显，而且是不均匀的异常黑边/白边等。故而连续帧就出现了非常影响感观的抖动 ）。



解决的方案。
1.一个就是你论坛 搜索 “抖动” 有很多后期，或者修改参数的方法。不一一一列举。
2.另外一个就是自己炼底丹，炼专丹。尤其是底丹 要反复打磨。


分享大概思路
第一步：下载专丹。学人之长。
我最早下载了 30-40个 论坛的底丹专丹。如 自闭2.0/坛主的 迪丽热巴RW等， 用我测试 专用DST（有的有刘海3秒、有的bed、有的激战、有 的灰暗、有的大角度仰角等）
零训练默认参数直接合成。曾经就发现遇到刘海的右侧也曾经遇到过 多多少少的黑边 、灰边（也就是容易诱发抖动）。



大量的樱花国年轻妹子喜欢 刘海装，尤其从眉毛到右腮的长刘海。
如下图 自闭2.0 。但这样的结果就是 刘海右侧 有不规则黑边。诱发抖动影响感观。


第二步：自己切 无刘海古装 SRC。用论坛底丹跑专丹。
既然是 合成后 刘海异常。所以首先要看 是不是 SRC 的问题，于是 我自己切 古装剧 无刘海 （SRC无刘海 ）的古力。用 自闭2.0 炼古力专丹





但是，奇怪的是 src是 WF1024 无刘海的古装剧。
自闭2.0 转 古力 专丹 。测试的结果 刘海右侧 还是有 较多的 不规则黑边。

后经过又测试发现。DST无论是 1080p较模糊，还是 4k 较清晰的。结果相同的黑边/白边。
第三步：自己炼底丹
不考虑SRC和 DST清晰度的问题。
所以我把注意力放到了自己 炼底丹上。于是自己做了多个底丹。跑若干迭代 就相同参数 ，跟论坛优秀底丹专丹做对比。



第一排 图1 迪丽热巴RW 图2 come5.0  图3 come3.0
第二排为原版   4k樱花 国。

以右上角的图3 这个底丹 刘海右侧 的灰边较少，表现较好
后来封存了图2 这样表现的几个底丹，而选择其中一个 灰边略较好的 come3.0 做预选底丹。并上传论坛。
第四步：自己炼底丹转 自切的 无刘海 的 专丹

底丹做好之后，还要用炼专丹。进一步检测。
同样继续用 无刘海的 SRC，跑了 一个古力专丹.
零训练直接合成。
结果：刘海右侧有淡淡灰边。基本不影响感观。

那么是不是偶然现象呢？。


补充实验：
我又用坛友 7.9 切的 攻速 迪丽热巴WF1024 1w张。以6.11 为底丹来跑了 13w迭代，迪丽热巴专丹。

图1 6.11 底丹  图2 古力 30w迭代  图3 迪丽热巴 13w迭代 都是用该底丹炼制的专丹。
默认参数零训练直接合成



结果：跟上述实验结果相同。
无论是6.11转 自切WF1024 古力专丹，还是 6.11转 下载论坛 WF1024 迪丽热巴专丹 。
其刘海右侧 都继承了底丹类似的 淡淡的灰边。
也就是说两个专丹都 把底丹 较好的 适配刘海 的信息继承了下来。
（默认参数下，也就是 W、E、T等均为0，也大概不影响感观。）

结论：6.11为底丹，合理炼制专丹 可以有效减少 樱花国年轻妹子刘海不规则黑边， 从而降低的抖动现象， 对改善感观有积极意义。

a542671

come3002 发表于 2023-8-18 09:31
一般而言，这在以前网友反馈属于 抖动范畴。
（大概意思是 零训练直接合成，换脸后刘海一侧 右腮/太阳穴会 ...

我以前也经常遇到这种情况，后来的解决办法就是直接找没刘海的樱花国妹子做DST，嘿嘿，简单省事

jinno19

请问番号多少？想看

WaveBedo

come3002 发表于 2023-8-18 09:31
一般而言，这在以前网友反馈属于 抖动范畴。
（大概意思是 零训练直接合成，换脸后刘海一侧 右腮/太阳穴会 ...

我猜是不是模型及切脸的分辨率不同造成的，相同有刘海的切脸，256的分辨率，跟1024的分辨率，圈住的头发黑色素比例应该是不一样的。256的切脸圈住的黑色素比例会高一点，1024圈住的黑色素比例会低一点。经过羽化之后，256圈住的黑色素比例高，所以，它刘海会更加模糊，1024的圈住的黑色素比例低，所以，它的清晰度受到的影响就低

come3002

WaveBedo 发表于 2023-11-6 12:30
我猜是不是模型及切脸的分辨率不同造成的，相同有刘海的切脸，256的分辨率，跟1024的分辨率，圈住的头发 ...

我反复想过。虽然可能分辨率不同。那么就尽量其他方面统一。
几张图为了避免干扰。没开羽化。
最好把楼主的模糊图片，找几个丹用原始默认参数。 W，E，T都没有动过。这样更能说明问题。






另外要考虑是不是清晰图片刘海，是不是也有类似情况。
又补充了 4k 切脸WF1024。还是有类似的 刘海 无规则黑边。