deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 859|回复: 18

src 水平翻转是个鸡肋功能

[复制链接]

21

主题

277

帖子

3393

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3393
 楼主| 发表于 2024-8-14 21:15:57 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 dfl9999 于 2024-8-14 23:26 编辑

关于SRC的水平翻转功能,特征点和人脸是翻转过来了,但是dst第二列翻转后的图片需要很长时间才能训练到src集里面原有图片的水平,甚至有些侧脸会变形甚至不自然,跟dst里面侧脸翻转模糊一样的情况,如果把src人脸通过软件水平翻转再加入src里面,很快就能训练清晰,人脸不会出现模糊变形的情况。

所以我认为src要补水平镜像角度,就不要用dfl的src翻转功能,直接把src视频用软件镜像翻转之后再切脸,dst也是同理,能节省大量的时间也不会对素材造成干扰。
Snipaste_2024-08-14_21-05-50.png
回复

使用道具 举报

21

主题

277

帖子

3393

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3393
 楼主| 发表于 2024-8-15 08:46:39 | 显示全部楼层
lxx1974 发表于 2024-8-15 08:28
是有这个感觉,靠DFL翻转(严格来说是镜像)练出来很糊,但是如果手工先镜像SRC的话,工作量也挺大的,请问 ...


src人脸图片能不能直接镜像翻转我没试过,但是提取的src视频帧肯定是可以用软件镜像的,需要重新切脸,我是用格式工厂把src视频进行镜像翻转再重新切脸,我的src也就3000多张,增补之后也就6000多张,工作量不大
回复 支持 1 反对 0

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12693
发表于 2024-8-14 22:54:27 | 显示全部楼层
【翻转的角度是计算还原的,需要大量的迭代】

你在说啥??我怎么看不懂。不是图片翻转加特征点翻转吗?
回复 支持 反对

使用道具 举报

21

主题

267

帖子

3531

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3531

万事如意节日勋章

QQ
发表于 2024-8-14 23:27:36 | 显示全部楼层
你的意思是DST也不能开翻转了吗
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3393

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3393
 楼主| 发表于 2024-8-14 23:28:40 | 显示全部楼层
seancai110 发表于 2024-8-14 22:54
【翻转的角度是计算还原的,需要大量的迭代】

你在说啥??我怎么看不懂。不是图片翻转加特征点翻转吗? ...

我重新编辑了下,之前的没表述清楚,反正把src翻转再增补进src人脸集里面跟开dfl的src翻转是两种情况,后者会浪费计算资源而且干扰src
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3393

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3393
 楼主| 发表于 2024-8-14 23:33:43 | 显示全部楼层
w7315511 发表于 2024-8-14 23:27
你的意思是DST也不能开翻转了吗

我试过把dst视频用软件翻转一遍,再重新切脸放一起,然后不开翻转,侧脸和大角度的模糊情况会有很大改善,单纯开dst翻转很多图片会糊成一坨,开不开我不能做建议,反正我以后不开了
回复 支持 反对

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12693
发表于 2024-8-14 23:46:09 | 显示全部楼层
dfl9999 发表于 2024-8-14 23:28
我重新编辑了下,之前的没表述清楚,反正把src翻转再增补进src人脸集里面跟开dfl的src翻转是两种情况,后 ...

按理说不应该啊。特征点翻转虽然要重新计算,但是也就是很简单的矩阵计算。我感觉开不开翻转,每次迭代的耗时没啥影响。
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3393

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3393
 楼主| 发表于 2024-8-15 00:13:27 | 显示全部楼层
seancai110 发表于 2024-8-14 23:46
按理说不应该啊。特征点翻转虽然要重新计算,但是也就是很简单的矩阵计算。我感觉开不开翻转,每次迭代的 ...

新模从0开始迭代的时候,src-src对练你仔细看1、2列的模型成像跟翻转之后的模型成像是不一样的,前者能很快构造整个脸部所有细节(包括最难练的光照),后者会模糊,连色彩都匹配不了
回复 支持 反对

使用道具 举报

6

主题

101

帖子

2003

积分

初级丹圣

Rank: 8Rank: 8

积分
2003
发表于 2024-8-15 00:30:51 | 显示全部楼层
SRC素材角度实在不充足情况下是可以把SRC视频水平翻转或者分解帧率图后水平翻转进行切脸补角度。
但是注意如果切完的人脸进行水平翻转,特征点是不会跟着翻转的。
回复 支持 反对

使用道具 举报

21

主题

277

帖子

3393

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3393
 楼主| 发表于 2024-8-15 03:13:45 | 显示全部楼层
深海鳕鱼 发表于 2024-8-15 00:30
SRC素材角度实在不充足情况下是可以把SRC视频水平翻转或者分解帧率图后水平翻转进行切脸补角度。
但是注意 ...

我的src不存在缺角度的情况,但是水平镜像角度我必须要补全,有人以为右侧脸练的很完美,镜像翻转后左侧脸应该小菜一碟吧?实际的情况是翻转之后算法也抓瞎,而且dfl的翻转不是我们认为的物理翻转
回复 支持 反对

使用道具 举报

5

主题

164

帖子

2156

积分

初级丹圣

Rank: 8Rank: 8

积分
2156
发表于 2024-8-15 08:28:04 | 显示全部楼层
是有这个感觉,靠DFL翻转(严格来说是镜像)练出来很糊,但是如果手工先镜像SRC的话,工作量也挺大的,请问你的镜像软件可以批量处理吗?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-22 01:07 , Processed in 0.145764 second(s), 39 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表