开背景风格，消除虚影之后，如何跑清晰？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

经坛友lknet指点，开背景风格可以减少虚影，
我自己多次测试，也确实是可以，
但又产生了一个新的问题

关闭扭曲之后，脸已经比较清晰了
背景风格强度2-5可以有效地减少虚影，
但脸又会变模糊，相当于刚开始扭曲时的模糊。
虚影消除之后，关闭背景风格，继续跑清晰，
结果虚影又会慢慢增大，
很难做到虚影少，又比较清晰的。
要怎么跑才能既清晰，虚影又比较少呢？

背景风格强度如果改成0.1、0.01，
清晰度没有怎么减少，但消除不了虚影

注意：开背景风格强度，脸型、样子会慢慢变成dst，
开这个东西，只是一个折中的办法，会降低相似度

wtxx8888

WaveBedo 发表于 2024-4-3 01:45
https://github.com/iperov/DeepFaceLive
这是在上面下载的RTT model 224 V2，原模型lr_dropout确实是打 ...

脸差距太大的，就靠合成步骤，加大遮罩腐蚀跟遮罩羽化清掉重影。
靠练的话，除非你会练全图，或者剪辑软件前期把脸调好，不然想都别想解决脸型的问题

WaveBedo

wtxx8888 发表于 2024-4-3 00:35
看参数是滚石的丹，你关了LR_DROPOUT。。。
关遮罩-开扭曲-开羽化跑全图一阵子吧，或者删了AB重置加开LR试 ...

https://github.com/iperov/DeepFaceLive
这是在上面下载的RTT model 224 V2，原模型lr_dropout确实是打开的

这个重影不是向外的，而是src比dst脸窄，
当关闭扭曲之后，继续跑，src的脸就会慢慢趋向dst那么大，这时虚影是减少的
可惜到一定程度之后，它就会停止，会剩一部分虚影无法消除
这就是左图

当再次开启扭曲之后，脸就会趋向src，
原先拉宽的脸就会变回原来的窄脸，
所以虚影就会增大
这就是右图

不知道是不是liae的问题，我之前跑了两个df，虽然也有虚影，但不会那么难处理
也有可能是这次的src脸型差距过大造成的

wtxx8888

开着扭曲，同时再开着遮罩羽化 blur_out_mask，遮罩羽化 blur_out_mask就是修复边界融合的。
选项时输入问号，就能看到此项目的说明，你竟然去开背景，也是没谁了。

728187887

一楼大佬说的对，你可以在坛主的帖子里了解一下训练参数详解，背景是要扣掉的，训练的只是遮罩里的人脸，下次不要了，这次先按一楼说的做试试看，他帮了不少人

WaveBedo

wtxx8888 发表于 2024-4-2 17:29
开着扭曲，同时再开着遮罩羽化 blur_out_mask，遮罩羽化 blur_out_mask就是修复边界融合的。
选项时输入 ...

好的，我试试看

WaveBedo

wtxx8888 发表于 2024-4-2 17:29
开着扭曲，同时再开着遮罩羽化 blur_out_mask，遮罩羽化 blur_out_mask就是修复边界融合的。
选项时输入 ...

在左边的基础上，
打开扭曲，打开blur out mask跑了4个小时
虚影增大了
是不是哪里设置错误了？

wtxx8888

WaveBedo 发表于 2024-4-2 22:47
在左边的基础上，
打开扭曲，打开blur out mask跑了4个小时
虚影增大了

看参数是滚石的丹，你关了LR_DROPOUT。。。
关遮罩-开扭曲-开羽化跑全图一阵子吧，或者删了AB重置加开LR试试，LR_DROPOUT开过（滚石专丹是开的）再关闭，容易出重影。
我不开LR学习率下降，没遇过重影用这个丹，你最好保持学习率下降LR，始终是开的。。。

这个重影是向遮罩外扩展的，也是奇葩

WaveBedo

wtxx8888 发表于 2024-4-3 02:27
脸差距太大的，就靠合成步骤，加大遮罩腐蚀跟遮罩羽化清掉重影。
靠练的话，除非你会练全图，或者剪辑软件 ...

好的

come3002

WaveBedo 发表于 2024-4-3 02:36
好的

Src和dst  训练，
当发现训练过程dst某些颧骨明显高于src。
建议重选载体。
练练就停，对载体视频平板截图 按照 抬头低头，左转头右转头等9个角度截图，切脸后，零训练直接合成，重新海选出跟练的丹多数角度比较吻合的载体。


若特别想要该载体去合成。
方案一
剪映软件把dst该角度原始视频导入到剪映，调整一下颧骨（高颧骨变窄一些）。之前把颧骨变瘦再切脸，直接合成一次。看能否改善。
记住该载体该镜头颧骨修改参数。下次再遇到直接调整一下。

方案二
改变src
暂停训练，分析该角度src表情是否单一。比如原来表情单一。就多找高颧骨的表情（比如某些女星 影视剧 某些笑的时候 颧骨会比不笑的镜头颧骨高一些）。
该角度最好，没有该角度就该角度附近也可以。
添加后，再训练看能否改善。

一点建议
1.多筹备一些跟你的src脸差不多的载体。以备不时之需。
如樱花/国产 可以按瓜子脸，正常脸，冬瓜脸，分类。
尤其樱花4k出的特别多特别快，理论上非常容易搞到合适载体。

2.训练前根据 将来dst特点去丰富src 。比如dst是舞蹈，笑脸和转头动作多。src在基础包外，多准备笑的镜头转头镜头src。

3.训练过程中练练就停下来测试，先易后难，先重点再全面。比如测试dst你重点看中樱花大嘴巴哭较弱，就找src大嘴巴哭镜头。添加后再训练一点时间检查发现改善为止。再去研究其他问题。
其他也是以此类推等。起步优先解决和满足你最看中的镜头。再慢慢拓展到次要镜头。不断让你的src丰富起来。