deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1070|回复: 15

开背景风格,消除虚影之后,如何跑清晰?

[复制链接]

38

主题

740

帖子

5227

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5227

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2024-4-2 16:34:53 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评


捕获078.PNG 捕获079.PNG

经坛友lknet指点,开背景风格可以减少虚影,
我自己多次测试,也确实是可以,
但又产生了一个新的问题

关闭扭曲之后,脸已经比较清晰了
背景风格强度2-5可以有效地减少虚影,
但脸又会变模糊,相当于刚开始扭曲时的模糊。
虚影消除之后,关闭背景风格,继续跑清晰,
结果虚影又会慢慢增大,
很难做到虚影少,又比较清晰的。
要怎么跑才能既清晰,虚影又比较少呢?

背景风格强度如果改成0.1、0.01,
清晰度没有怎么减少,但消除不了虚影

注意:开背景风格强度,脸型、样子会慢慢变成dst,
开这个东西,只是一个折中的办法,会降低相似度

回复

使用道具 举报

14

主题

2739

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
14694

真我风采勋章万事如意节日勋章

发表于 2024-4-3 02:27:41 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-4-3 02:31 编辑
WaveBedo 发表于 2024-4-3 01:45
https://github.com/iperov/DeepFaceLive
这是在上面下载的RTT model 224 V2,原模型lr_dropout确实是打 ...

脸差距太大的,就靠合成步骤,加大遮罩腐蚀跟遮罩羽化清掉重影。
靠练的话,除非你会练全图,或者剪辑软件前期把脸调好,不然想都别想解决脸型的问题
回复 支持 1 反对 0

使用道具 举报

38

主题

740

帖子

5227

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5227

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2024-4-3 01:45:21 | 显示全部楼层
本帖最后由 WaveBedo 于 2024-4-3 01:50 编辑
wtxx8888 发表于 2024-4-3 00:35
看参数是滚石的丹,你关了LR_DROPOUT。。。
关遮罩-开扭曲-开羽化跑全图一阵子吧,或者删了AB重置加开LR试 ...
捕获082.PNG 捕获083.PNG

https://github.com/iperov/DeepFaceLive
这是在上面下载的RTT model 224 V2,原模型lr_dropout确实是打开的

这个重影不是向外的,而是src比dst脸窄,
当关闭扭曲之后,继续跑,src的脸就会慢慢趋向dst那么大,这时虚影是减少的
可惜到一定程度之后,它就会停止,会剩一部分虚影无法消除
这就是左图

当再次开启扭曲之后,脸就会趋向src,
原先拉宽的脸就会变回原来的窄脸,
所以虚影就会增大
这就是右图

不知道是不是liae的问题,我之前跑了两个df,虽然也有虚影,但不会那么难处理
也有可能是这次的src脸型差距过大造成的
回复 支持 1 反对 0

使用道具 举报

14

主题

2739

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
14694

真我风采勋章万事如意节日勋章

发表于 2024-4-2 17:29:12 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-4-2 17:36 编辑

开着扭曲,同时再开着遮罩羽化 blur_out_mask,遮罩羽化 blur_out_mask就是修复边界融合的。
选项时输入问号,就能看到此项目的说明,你竟然去开背景,也是没谁了。
回复 支持 反对

使用道具 举报

8

主题

143

帖子

731

积分

高级丹师

Rank: 5Rank: 5

积分
731
发表于 2024-4-2 17:43:14 | 显示全部楼层
一楼大佬说的对,你可以在坛主的帖子里了解一下训练参数详解,背景是要扣掉的,训练的只是遮罩里的人脸,下次不要了,这次先按一楼说的做试试看,他帮了不少人
回复 支持 反对

使用道具 举报

38

主题

740

帖子

5227

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5227

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2024-4-2 18:09:15 | 显示全部楼层
wtxx8888 发表于 2024-4-2 17:29
开着扭曲,同时再开着遮罩羽化 blur_out_mask,遮罩羽化 blur_out_mask就是修复边界融合的。
选项时输入 ...

好的,我试试看
回复 支持 反对

使用道具 举报

38

主题

740

帖子

5227

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5227

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2024-4-2 22:47:05 | 显示全部楼层
wtxx8888 发表于 2024-4-2 17:29
开着扭曲,同时再开着遮罩羽化 blur_out_mask,遮罩羽化 blur_out_mask就是修复边界融合的。
选项时输入 ...

捕获082.PNG 捕获083.PNG

在左边的基础上,
打开扭曲,打开blur out mask跑了4个小时
虚影增大了
是不是哪里设置错误了?


捕获085.PNG 捕获084.PNG



回复 支持 反对

使用道具 举报

14

主题

2739

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
14694

真我风采勋章万事如意节日勋章

发表于 2024-4-3 00:35:35 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-4-3 01:00 编辑
WaveBedo 发表于 2024-4-2 22:47
在左边的基础上,
打开扭曲,打开blur out mask跑了4个小时
虚影增大了

看参数是滚石的丹,你关了LR_DROPOUT。。。
关遮罩-开扭曲-开羽化跑全图一阵子吧,或者删了AB重置加开LR试试,LR_DROPOUT开过(滚石专丹是开的)再关闭,容易出重影。
我不开LR学习率下降,没遇过重影用这个丹,你最好保持学习率下降LR,始终是开的。。。

这个重影是向遮罩外扩展的,也是奇葩
回复 支持 反对

使用道具 举报

38

主题

740

帖子

5227

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5227

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2024-4-3 02:36:37 | 显示全部楼层
wtxx8888 发表于 2024-4-3 02:27
脸差距太大的,就靠合成步骤,加大遮罩腐蚀跟遮罩羽化清掉重影。
靠练的话,除非你会练全图,或者剪辑软件 ...

好的
回复 支持 反对

使用道具 举报

15

主题

1937

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
26282

万事如意节日勋章

发表于 2024-4-3 06:45:53 | 显示全部楼层
本帖最后由 come3002 于 2024-4-3 07:21 编辑

Src和dst  训练,
当发现训练过程dst某些颧骨明显高于src。
建议重选载体。
练练就停,对载体视频平板截图 按照 抬头低头,左转头右转头等9个角度截图,切脸后,零训练直接合成,重新海选出跟练的丹多数角度比较吻合的载体。


若特别想要该载体去合成。
方案一
剪映软件把dst该角度原始视频导入到剪映,调整一下颧骨(高颧骨变窄一些)。之前把颧骨变瘦再切脸,直接合成一次。看能否改善。
记住该载体该镜头颧骨修改参数。下次再遇到直接调整一下。

方案二
改变src
暂停训练,分析该角度src表情是否单一。比如原来表情单一。就多找高颧骨的表情(比如某些女星 影视剧 某些笑的时候 颧骨会比不笑的镜头颧骨高一些)。
该角度最好,没有该角度就该角度附近也可以。
添加后,再训练看能否改善。

一点建议
1.
多筹备一些跟你的src脸差不多的载体。以备不时之需。
如樱花/国产 可以按瓜子脸,正常脸,冬瓜脸,分类。
尤其樱花4k出的特别多特别快,理论上非常容易搞到合适载体。

2.
训练前根据 将来dst特点去丰富src 。比如dst是舞蹈,笑脸和转头动作多。src在基础包外,多准备笑的镜头转头镜头src。

3.训练过程中练练就停下来测试,先易后难,先重点再全面。比如测试dst你重点看中樱花大嘴巴哭较弱,就找
src大嘴巴哭镜头。添加后再训练一点时间检查发现改善为止。再去研究其他问题。
其他也是以此类推等。起步优先解决和满足你最看中的镜头。再慢慢拓展到次要镜头。不断让你的src丰富起来。




回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-10-4 17:20 , Processed in 0.101035 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表