deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
123
返回列表 发新帖
楼主: dfl9999

关于DST角度难以补充的问题

[复制链接]

0

主题

92

帖子

680

积分

高级丹师

Rank: 5Rank: 5

积分
680
发表于 2024-7-25 22:58:18 | 显示全部楼层
htyy 发表于 2024-7-25 17:15
死亡角度压根懒得去搞,首先切脸就错了,其次抖大概率是没练好

目前是这样 剪DST大角度直接剪掉 提出来一堆错的漏的 几百上千一个个手提手标 心都累了 放下即自在
回复 支持 反对

使用道具 举报

9

主题

110

帖子

830

积分

高级丹师

Rank: 5Rank: 5

积分
830
 楼主| 发表于 2024-7-26 01:30:30 | 显示全部楼层
w7315511 发表于 2024-7-25 20:57
你这方法单人固定DST可能有点用,不过专人丹都是直接合成你这搞这么麻烦每还得来回训练。如果真的有效果 ...

直接换有几个致命的缺陷,表情对不上不丰富不自然,目标视频人脸光照无法通过算法完全模拟,rct无法解决复杂的面部光照,或者需要大量的迭代时间去实现,再就是因为遮罩原因合成帧的抖动非常明显,让src学习dst,相当于逆向工程,可以直接还原dst视频的光照,而且让合成帧平滑
回复 支持 反对

使用道具 举报

9

主题

110

帖子

830

积分

高级丹师

Rank: 5Rank: 5

积分
830
 楼主| 发表于 2024-7-26 01:36:18 | 显示全部楼层
w7315511 发表于 2024-7-25 20:57
你这方法单人固定DST可能有点用,不过专人丹都是直接合成你这搞这么麻烦每还得来回训练。如果真的有效果 ...

发视频很简单,发一个直接换的视频,再发一个src dst混练的视频,用同一个模型,看效果就行,我尽快整出来
回复 支持 反对

使用道具 举报

9

主题

110

帖子

830

积分

高级丹师

Rank: 5Rank: 5

积分
830
 楼主| 发表于 2024-7-26 04:44:52 | 显示全部楼层
三先天 发表于 2024-7-25 22:53
不用发视频 你就只截图几张脸就够了 对比换脸前和换脸后的 说服力不就上来了 ...

我新贴已经发了
回复 支持 反对

使用道具 举报

37

主题

680

帖子

3792

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3792

万事如意节日勋章

发表于 2024-7-26 11:20:49 | 显示全部楼层
本帖最后由 pasanonic 于 2024-7-26 11:24 编辑
三先天 发表于 2024-7-25 22:58
目前是这样 剪DST大角度直接剪掉 提出来一堆错的漏的 几百上千一个个手提手标 心都累了 放下即自在  ...

其实不需要一个个弄,你把错的和附近一些图弄出来,画1到2张遮罩训练一下就可以了,遮罩的权重比特征点高,相同帧的情况下,画几张就行了

找个专门画遮罩的dfl客户端,把错误的移动过来,单独画训练,写入后再放到正训的客户端,这样你能慢慢集中画图,遮罩也在不断地进步。
回复 支持 反对

使用道具 举报

17

主题

90

帖子

4278

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4278
发表于 2024-7-26 15:04:23 | 显示全部楼层
dfl9999 发表于 2024-7-25 20:31
哎,非要我把合成视频发出来才有说服力,可惜是不可描述动作片,发不了,女人躺着enjoy自己的仰脸角度和 ...

可以密码压缩两次,放网盘里,地址发出来让大家学习下
回复 支持 反对

使用道具 举报

0

主题

13

帖子

852

积分

高级丹师

Rank: 5Rank: 5

积分
852
发表于 2024-7-29 22:46:16 | 显示全部楼层
dfl9999 发表于 2024-7-25 16:41
我用的第一种办法,我用的100w迭代的src专人丹,把dst和src都放src里面,dst里面的不变,关扭曲开LRD训练 ...

删除src里面的dst照片后 再训练前要重新把src打包一下pak吧?
回复 支持 反对

使用道具 举报

5

主题

112

帖子

2126

积分

初级丹圣

Rank: 8Rank: 8

积分
2126
发表于 2024-7-30 07:02:53 | 显示全部楼层
我的实测结果:颜色确实匹配比以前好点,但是却不太像SRC了
回复 支持 反对

使用道具 举报

9

主题

110

帖子

830

积分

高级丹师

Rank: 5Rank: 5

积分
830
 楼主| 发表于 2024-7-31 00:51:50 | 显示全部楼层
wanhlb 发表于 2024-7-30 07:02
我的实测结果:颜色确实匹配比以前好点,但是却不太像SRC了

开0.0001真脸可以拉回来
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-8 09:29 , Processed in 0.113150 second(s), 9 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表