deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1758|回复: 28

关于DST角度难以补充的问题

[复制链接]

21

主题

277

帖子

3398

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3398
 楼主| 发表于 2024-7-25 02:19:08 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
逛论坛发现DST和SRC对调来补充DST角度的操作,操作可行的话,如果是预训练好的SRC专丹,那还不如直接把DST混进SRC里面一起练,DST还是保持不变,等练到差不多再把SRC里面的DST删除,再往后迭代一段往SRC权重那里拉,等快到合成阶段就开真脸再训练个几万次,那样不就可以达到我们补充刁钻角度和表情衔接不自然的问题?

甚至我想,既然要练DST的表情和角度,一开始开丹的时候就练DST的丹,DST放进SRC里面进行DST-DST对练,等表情和角度练到差不多,再把本来要用的SRC放进去替代,关扭曲开GAN精炼细节,那不就不用再为SRC的角度和表情费尽心思了?




05441_0.jpg
回复

使用道具 举报

21

主题

277

帖子

3398

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3398
 楼主| 发表于 2024-7-25 20:31:27 | 显示全部楼层
pasanonic 发表于 2024-7-25 17:03
可行是可行,但他说的太过于完美了, 而且还不开扭曲
可能是他的dst 和 src有重叠的区域,所以效果比较好

哎,非要我把合成视频发出来才有说服力,可惜是不可描述动作片,发不了,女人躺着enjoy自己的仰脸角度和表情是src里面绝对没有的,合成的时候完美解决
回复 支持 0 反对 1

使用道具 举报

21

主题

277

帖子

3398

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3398
 楼主| 发表于 2024-7-25 02:22:29 | 显示全部楼层
大家等我的好消息
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3398

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3398
 楼主| 发表于 2024-7-25 02:37:31 | 显示全部楼层
兄弟们,真的有用,SRC已经学会了DST的表情和角度
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3398

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3398
 楼主| 发表于 2024-7-25 04:42:31 | 显示全部楼层
合成实测效果非常炸裂,不仅角度和表情补全了,甚至光照也补全了,开真脸光照异常、颜色不匹配的情况再也不出现了
回复 支持 反对

使用道具 举报

8

主题

223

帖子

1450

积分

初级丹圣

Rank: 8Rank: 8

积分
1450
发表于 2024-7-25 08:44:48 | 显示全部楼层
dfl9999 发表于 2024-7-25 04:42
合成实测效果非常炸裂,不仅角度和表情补全了,甚至光照也补全了,开真脸光照异常、颜色不匹配的情况再也不 ...

谢谢楼主分享!下次试试
回复 支持 反对

使用道具 举报

0

主题

73

帖子

-8万

积分

禁止访问

积分
-86590
发表于 2024-7-25 09:19:54 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

40

主题

861

帖子

4685

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4685

万事如意节日勋章

发表于 2024-7-25 11:43:02 | 显示全部楼层
你的意思是  直接dst-dst(放src)对练,练的差不多了
再把要换的脸放src吗?
回复 支持 反对

使用道具 举报

8

主题

147

帖子

1607

积分

初级丹圣

Rank: 8Rank: 8

积分
1607

节日欢乐之星勋章

发表于 2024-7-25 12:02:57 | 显示全部楼层
多贴几张图看看啊
回复 支持 反对

使用道具 举报

0

主题

73

帖子

-8万

积分

禁止访问

积分
-86590
发表于 2024-7-25 13:09:00 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3398

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3398
 楼主| 发表于 2024-7-25 16:41:53 | 显示全部楼层
pasanonic 发表于 2024-7-25 11:43
你的意思是  直接dst-dst(放src)对练,练的差不多了
再把要换的脸放src吗?  ...

我用的第一种办法,我用的100w迭代的src专人丹,把dst和src都放src里面,dst里面的不变,关扭曲开LRD训练3万左右,等dst角度和表情练的差不多了,删除src里面的dst,再开0.0001真脸训练5万次左右,等预览里面的所有人脸都变回src就大功告成,合成的时候光照、刁钻角度、表情全部补齐了,甚至跳动都没有了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-22 05:58 , Processed in 0.138584 second(s), 38 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表