deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
12
返回列表 发新帖
楼主: Hulio666

发问個模型问题!!

[复制链接]

17

主题

291

帖子

3061

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3061
 楼主| 发表于 2022-8-18 01:00:31 | 显示全部楼层
whatsall 发表于 2022-8-18 00:38
别把预训练和万用丹弄混。预训练使用DF更节省时间,而万用丹更适合的恰恰是LIAE。首先你得弄明白万用丹的概 ...

首先谢谢你的回复
但我对LIAE的疑点有
1.跑出来跟SRC不像,或相似度不高,这样就失去换脸的意义
2.LAIE对比DF能不能达到快速的形成人脸也就是这个丹可以符合"效率"跟"好的合成效果"
回复 支持 反对

使用道具 举报

3

主题

93

帖子

1057

积分

初级丹圣

Rank: 8Rank: 8

积分
1057
发表于 2022-8-18 10:31:25 | 显示全部楼层
本帖最后由 whatsall 于 2022-8-18 10:38 编辑
Hulio666 发表于 2022-8-18 01:00
首先谢谢你的回复
但我对LIAE的疑点有
1.跑出来跟SRC不像,或相似度不高,这样就失去换脸的意义

LIAE的优点是融合度高,缺点是易受DST影响。但是不论DF还是LIAE,都没办法把与SRC差异太大的DST完美替换。也就是说,目标脸是长脸,你怎么也不可能换成圆脸。作者给出的相对解决方案是DF里的true face power选项,以及LIAE架构类型后面的T,这也是为什么官方教程的RTM(万用模型)训练法里给的示范架构是LIAE-UDT,这个T就相当于DF里的true face power打开。"The recommended type of models for use with RTM workklow are SAEHD LIAE models, LIAE-UD or LIAE-UDT thanks to their superior color and lighting matching capabilities as well as being able to adapt better to different face shapes than DF architecture."(摘自官方指南)


除此以外,官方指南还提到了解决脸型不像SRC的方案,基本上有两种(1)打开blur mask选项,训练background style(2)关闭masked training选项,我自己试过的结果是,第二种方法效果更好,但是耗时耗力。最完美的解决方案是用AE或者达芬奇来后期修整。“If you suspect some parts of DST may stick out from underneath your predicted (final face) during merging (long nose on profile shots, puckered lips, eyelashes) you can also enable background style power to make the background more like DST background and blur out mask to make it more blurry and smooth so that you can expand the mask during merging and esentially cover those parts of DST with the trained face background. You can additionally disable masked training after step 6, that will train entire training area, improving quality of the background but you can also try to run it before before GAN - keep in mind all of these are optional, if you are beginnger skip this step, pretend it doesn't exist.”(摘自官方指南)




回复 支持 反对

使用道具 举报

17

主题

291

帖子

3061

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3061
 楼主| 发表于 2022-8-18 11:18:52 | 显示全部楼层
本帖最后由 Hulio666 于 2022-8-18 12:19 编辑
whatsall 发表于 2022-8-18 10:31
LIAE的优点是融合度高,缺点是易受DST影响。但是不论DF还是LIAE,都没办法把与SRC差异太大的DST完美替换。 ...

感谢你拨冗回答,但我还有问题
1.如果换SRC,liae要删掉 inter_AB 重跑,DF可以直接跑,两個同等迭代数的训练,哪個跑比较快?
2.所以论坛上的网友说liae会不像,是因为脸型导致的,在五官上df跟liae差别不大吗?
3.解决脸型match的问题,是要在分解影片前瘦脸吗? 因为瘦脸我自己有做过实验,我是分解影片成图片后,用PS液化跑批次去瘦脸的,但因为没有脸型追踪,所以远近景脸大小的变化就有点怪
回复 支持 反对

使用道具 举报

3

主题

93

帖子

1057

积分

初级丹圣

Rank: 8Rank: 8

积分
1057
发表于 2022-8-18 15:51:20 | 显示全部楼层
本帖最后由 whatsall 于 2022-8-18 15:53 编辑
Hulio666 发表于 2022-8-18 11:18
感谢你拨冗回答,但我还有问题
1.如果换SRC,liae要删掉  inter_AB 重跑,DF可以直接跑,两個同等迭代数的训练 ...

1 我的个人感觉区别不太大。但是看网友讨论,似乎DF快一些。
2 五官我觉得都可以训练很像,导致不像有三个原因,第一个是外脸轮廓,可以用前面提到的方法解决。第二个是五官的结构关系,比如眼睛和嘴巴之间的距离,这是导致长脸和短脸无法互相替换的最根本问题,DF和LIAE都解决不了。第三个是表情(也就是嘴眼变形,或者warp),当SRC没有与DST对应的表情时,是选择用接近表情来替代,还是用warp算法来模拟?如果用前者,那么更像SRC,如果用后者,往往更像DST,LIAE和DF用的是哪种算法?我也没有找到答案,盼望高手作答。3 关于修正脸型,先弄后弄我都试过,目前还在尝试不同的优化方法。就目前来说,我感觉后弄效果更好,但是步骤更多,更麻烦。
回复 支持 反对

使用道具 举报

3

主题

93

帖子

1057

积分

初级丹圣

Rank: 8Rank: 8

积分
1057
发表于 2022-8-18 15:55:55 | 显示全部楼层
补充一下,瘦脸的最佳工具,我比较过ae, ps, 达芬奇,最后获胜的是.....
手机端APP:wink,想不到吧!
回复 支持 反对

使用道具 举报

17

主题

291

帖子

3061

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3061
 楼主| 发表于 2022-8-18 17:43:03 | 显示全部楼层
whatsall 发表于 2022-8-18 15:55
补充一下,瘦脸的最佳工具,我比较过ae, ps, 达芬奇,最后获胜的是.....
手机端APP:wink,想不到吧! ...

大大 我后来有试了一下论坛的DF模型,就是这个光影不匹配,还有脸型融合,也不是很顺,所以改用liae了!!
感谢你的指教!!
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-22 09:58 , Processed in 0.093831 second(s), 9 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表