deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 3031|回复: 13

关于随机扭曲和真脸的理解

[复制链接]

50

主题

405

帖子

2485

积分

初级丹圣

Rank: 8Rank: 8

积分
2485

万事如意节日勋章

 楼主| 发表于 2022-10-4 11:42:53 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
如题,我理解的是随机扭曲主要是训练人物的表情吧,真脸主要是训练人物的脸型吧。但是看教程是说,如果前期不开随机扭曲,DST和SRC会相互影响,后期可以关。那后期例如训练了40万扭曲后,我关了,然后开GAN,这时会不会DST和SRC会相互影响呢?
回复

使用道具 举报

3

主题

93

帖子

1057

积分

初级丹圣

Rank: 8Rank: 8

积分
1057
发表于 2022-10-4 18:49:48 | 显示全部楼层
本帖最后由 whatsall 于 2022-10-4 18:54 编辑

我理解的是:在刚刚更换src以后,你需要删除inter_AB,并且打开随机扭曲,让模型去重新建立一一映射,将信息储存到新生成的inter_AB文件里,一旦训练到loss不能下降了,你关闭随机扭曲的同时,模型就不再学习新的映射关系了,此时可以开始细节训练,顺序是:eyes 和 yaw > learning rate drop > color > GAN。这个过程十分漫长,但不会受到DST的影响,因为结构性的学习已经结束了。如果感觉像DST,这不是因为你后期的细节训练时间太久,而是一开始就能够暴露出来的问题(你觉得越来越像DST,可能是某些角度/表情的问题,在一开始的预览中没有被你发现而已)。训练结果像DST,最大的可能原因是随机扭曲的迭代次数不够(官方教程说至少要50万次),其次的可能是SRC的质量太低,最好是把src的图集弄齐全(角度,表情,光线)并且提高质量以后,再重新训练。
回复 支持 2 反对 0

使用道具 举报

3

主题

93

帖子

1057

积分

初级丹圣

Rank: 8Rank: 8

积分
1057
发表于 2022-10-8 20:38:06 | 显示全部楼层
huiwobuke 发表于 2022-10-8 19:32
你可以翻翻滚石的贴子 我们测试删除AB文件  越练越飞

我两种都测试过,跟您的看法正好相反。不删除也不是不行,但是会非常缓慢。删了AB文件速度立刻飞起,很快能出效果。别人的帖子我觉得是别人的看法,我挺想看看你自己试过的对比效果。
回复 支持 1 反对 0

使用道具 举报

3

主题

93

帖子

1057

积分

初级丹圣

Rank: 8Rank: 8

积分
1057
发表于 2022-10-8 18:30:10 | 显示全部楼层
本帖最后由 whatsall 于 2022-10-8 18:34 编辑
huiwobuke 发表于 2022-10-8 15:31
别误导人了  df就没ab文件  liae现在也不需要删除ab文件了

转帖一下最新版本的官方教学。里面关于删不删inter_ab文件的说法供您参考。注意:更换SRC人脸需要删除ab,如果不更换,切勿删除。

Extra training and reuse of trained LIAE/LIAE RTM models - Deleting inter_ab and inter_b files explained:

What are inter_ab and _b files? These are parts of SAEHD models that use LIAE architecture (regardless of additional -U, -D, -T and -C variations), unlike DF architecture which has one commong inter file for both SRC and DST, LIAE features two inter files, inter_ab which contains latent code (representation) of both SRC and DST faces and additional inter_b that contains latent code of DST faces.

1. Delete inter_b file from your model folder when you want to reuse RTM model as a regular LIAE model on new DST and train the model all over starting with RW enabled (train as a regular model).
Applies to reusing trained LIAE model and changing DST but not SRC.

2. Delete inter_ab file when you want to create a new RTM model for different celebrity, replace SRC with new one, add random DST set and proceed with the same workflow as when creating new RTM model.
Applies to reusing trained LIAE model and changing SRC but not DST

3. Don't delete either inter_ab or inter_b when you want to perform additional training on target DST using your trained RTM model.
Doesn't apply to regular trained LIAE model reusal (may run into issue where your final predicted faces looks just like DST or have very low resemblance to SRC)

4. Delete both inter_ab and inter_b when you are reusing trained LIAE model in regular scenarios, both src/dst change or you run into issue where results look like DST, do note that this has similar effect to what happens when you disable pretraining, only encoders/decoders remain trained, all other data is removed, this means model in a way returns to a state as if it was just pretrained (not quite but closer to that than a trained state) which may cause training to take a bit longer.

In that case simply replace random DST with specific taget DST, start training with RW disabled。
回复 支持 1 反对 0

使用道具 举报

50

主题

405

帖子

2485

积分

初级丹圣

Rank: 8Rank: 8

积分
2485

万事如意节日勋章

 楼主| 发表于 2022-10-4 18:31:33 | 显示全部楼层
qiuyuande 发表于 2022-10-4 14:46
会的  扭曲关了  你在一直练 他就慢慢 的不那么像 src了

好的,如果被影响了,我再开回扭曲,关GAN,可以吗?
回复 支持 0 反对 1

使用道具 举报

50

主题

405

帖子

2485

积分

初级丹圣

Rank: 8Rank: 8

积分
2485

万事如意节日勋章

 楼主| 发表于 2022-10-4 11:54:42 | 显示全部楼层
还有就是真脸数值听说不能开大,我现在是0.001,开到0.1可以吗,会有什么影响。听说开大会模糊 。
回复 支持 反对

使用道具 举报

10

主题

320

帖子

3054

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3054

万事如意节日勋章

发表于 2022-10-4 14:03:12 | 显示全部楼层
开GAN后慢慢会被dst影响,gan适度就好
回复 支持 反对

使用道具 举报

59

主题

457

帖子

2731

积分

初级丹圣

Rank: 8Rank: 8

积分
2731
发表于 2022-10-4 14:46:16 | 显示全部楼层
会的  扭曲关了  你在一直练 他就慢慢 的不那么像 src了
回复 支持 反对

使用道具 举报

50

主题

405

帖子

2485

积分

初级丹圣

Rank: 8Rank: 8

积分
2485

万事如意节日勋章

 楼主| 发表于 2022-10-4 20:28:55 | 显示全部楼层
whatsall 发表于 2022-10-4 18:49
我理解的是:在刚刚更换src以后,你需要删除inter_AB,并且打开随机扭曲,让模型去重新建立一一映射,将信 ...

好的,非常感谢
回复 支持 反对

使用道具 举报

19

主题

150

帖子

5373

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5373
发表于 2022-10-8 15:31:51 | 显示全部楼层
whatsall 发表于 2022-10-4 18:49
我理解的是:在刚刚更换src以后,你需要删除inter_AB,并且打开随机扭曲,让模型去重新建立一一映射,将信 ...

别误导人了  df就没ab文件  liae现在也不需要删除ab文件了
回复 支持 反对

使用道具 举报

3

主题

93

帖子

1057

积分

初级丹圣

Rank: 8Rank: 8

积分
1057
发表于 2022-10-8 18:25:38 | 显示全部楼层
huiwobuke 发表于 2022-10-8 15:31
别误导人了  df就没ab文件  liae现在也不需要删除ab文件了

我说删除ab文件就是说LIAE,不是df。你说现在不需要,请问出处在哪里?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-22 19:26 , Processed in 0.105766 second(s), 10 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表