deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2851|回复: 37

SRC里缺少而DST数据集有的角度是不是应该删掉

[复制链接]

5

主题

19

帖子

273

积分

初级丹师

Rank: 3Rank: 3

积分
273
 楼主| 发表于 2024-5-4 23:23:21 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
只为求一个专丹,DST用了数据集,拿论坛补角度工具测试,src角度少了很多,是不是应该把对应dst图片全删掉?

另外,不训练万能,只求专丹。哪位能方便给指路一下liae模型专门训练一个人物的训练教程?
回复

使用道具 举报

14

主题

2949

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15983

真我风采勋章万事如意节日勋章

发表于 2024-5-5 16:35:32 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-5-5 16:44 编辑
planenalp 发表于 2024-5-5 15:54
如果只是常规训练过程的多次删AB,loss值很快会降回删之前的水平
但是这种删AB同时改对练,速度给我感觉 ...

GAN不是必开。我都是挂机纯迭代出细节,不需要GAN。LOSS低就好,我扭曲从来也不关。
还有LRD我也不开,无视GAN跟LRD的话,无脑挂机就得了,完全无视所谓的几阶段。
当然耗时会很久,优在省心省力,挂机就得了,LIAE想起来了就删一下AB

至于SRC-SRC,其目的为,利用图像残留特性,减少扭曲的时间.
意思是正常的SRC-DST,扭曲到位要很久很久,先SRC-SRC然后再SRC-DST,基本是从SRC起步,省去了慢慢扭曲的时间。
回复 支持 1 反对 0

使用道具 举报

14

主题

2949

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15983

真我风采勋章万事如意节日勋章

发表于 2024-5-5 00:12:57 | 显示全部楼层
本帖最后由 wtxx8888 于 2024-5-5 00:14 编辑

LIAE炼制教程,论坛就有,专心找了吗?
https://dfldata.cc/forum.php?mod=viewthread&tid=6512
素材理论,以为SRC是随便拿来,就可以用的?
https://dfldata.cc/forum.php?mod=viewthread&tid=1612
回复 支持 0 反对 1

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12740
发表于 2024-5-5 00:03:33 | 显示全部楼层
不影响吧。我dst几万张照片,没空去删。
回复 支持 反对

使用道具 举报

5

主题

19

帖子

273

积分

初级丹师

Rank: 3Rank: 3

积分
273
 楼主| 发表于 2024-5-5 08:29:40 | 显示全部楼层
wtxx8888 发表于 2024-5-5 00:12
LIAE炼制教程,论坛就有,专心找了吗?
https://dfldata.cc/forum.php?mod=viewthread&tid=6512
素材理论, ...

--上个图再来说明一下,图里就是我素材的角度,常规够用了。但与DST训练集对比有缺失,把缺失角度copy到SRC里去弄觉得素材包就太大了,所以想是不是干脆删掉训练集的角度。

--然后现在打算试一下 原作者iperov RTT_model_224_V2模型,首先就是训练集的问题,大佬我有读过你的'专丹及换脸的新练法' ,是不是干脆抛弃训练集直接SRC-SRC开练,这样也就不会有上述问题
训练步骤综合你昨天另一个回帖的基础上总结:
      第一步先单扭曲,然后加均匀化,再关均匀化开眼嘴,最后再加入遮罩模糊,lrd,这样开练50W;
      第二步删AB文件重选图形训练,每训练50W重复一次这个,直到最后一轮50W迭代结束(不开GAN就到此结束)。-----在这里的问题:假如就用刚刚说的SRC-SRC练的话是不是理论上不需要删AB重选图形?



QQ截图20240505073348.png
回复 支持 反对

使用道具 举报

14

主题

2949

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15983

真我风采勋章万事如意节日勋章

发表于 2024-5-5 13:27:12 | 显示全部楼层
七分清醒 发表于 2024-5-5 08:29
--上个图再来说明一下,图里就是我素材的角度,常规够用了。但与DST训练集对比有缺失,把缺失角度copy到SR ...

额,SRC不想搞精良的话,那也没必要删DST,查出DST的图那得多费劲?
直接无视就得了,随便练练SRC-DST,然后最后收尾时,来一遍SRC-SRC,强化SRC就行了。
AB文件不用删,删AB的目的就是两点,
一。重置SRC与DST的关联。修正不像SRC。
二。强化泛化能力。
不需要上述两个目的得,就不需要删AB。
回复 支持 反对

使用道具 举报

1

主题

106

帖子

858

积分

高级丹师

Rank: 5Rank: 5

积分
858
发表于 2024-5-5 15:33:23 | 显示全部楼层
wtxx8888 发表于 2024-5-5 13:27
额,SRC不想搞精良的话,那也没必要删DST,查出DST的图那得多费劲?
直接无视就得了,随便练练SRC-DST ...

“然后最后收尾时,来一遍SRC-SRC,强化SRC就行了。”
刚好我在测试的320Liae卡这个阶段,请问这种Liae的后期改对练有什么细节要注意的吗?比如需要删AB吗?

我测试了好几种方法,都是已经扭曲+嘴眼+大LOSS,练到0.2x loss 前提下进行:
1. 按照官方教程的仅更换 DST 情况,后期只删 inter_b 来开始对练,loss值可以正常下降,但是结束后和新视频融合训练马上完全变成了 DST 的样子,再练1000+迭代都没有明显区别,可预见短期内很难看得到改变,其实按照这个思路理解的话换成新视频 DST 应该还要再删1次 inter_b,我也试了,没有任何区别,换的脸还是会变成 DST,毕竟对练是少数人提出来的现有教程不一定适用
2. 不删AB直接改对练,情况和1差不多,但是迭代数增加会慢慢变好1000次左右就变回更像 SRC 了,不过还是略带 DST 的影子估计要训练更久点
3. 删AB后对练,结果是这个专丹的 loss 值超级高很久都降不下来,差不多等于整个丹要重练,但奇怪的是即使是这个变成了超级高的0.4x loss 状态,拿去测试和新视频DST做融合训练效果也远比前面两种好,体现在光影、饱和度、清晰度和SRC相似度上全方位吊打,原理不明
4. 最开始也试过一个全程对练的(期间也按时删过几次AB),和新视频DST融合训练的情况跟1完全一样,除非此时再删AB硬练下去才能改善,因为炸丹了所以顺便尝试现在这种比较贪心的后期改对练方式

感觉应该3和4条件更相似情况会是一样才对,结果反而是1和4一样,实在想不通
论坛上有看到几个人提到后期改对练的,但是都说得比较笼统
目前测试过的几种方式初步感觉2这种后期直接改成对练不改其它变量好像是比较可行效率也比较高的方法,不知道理解对不对,也不知道有没有漏掉什么关键步骤所以只能在这里请教了
如果实际情况是像我这样后期改过对练之后和新视频一训练就变得超级像DST的话,那好像改了反而是反效果啊?除非全部都0训练直接合成
也有可能是和新视频DST融合训练迭代数不够有关,但是不改对练用传统方法的话做这种融合训练随便多少次都不会出现变成DST样子的情况
试来试去我都懵逼了
又来偷师了,谢谢大佬
回复 支持 反对

使用道具 举报

14

主题

2949

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
15983

真我风采勋章万事如意节日勋章

发表于 2024-5-5 15:42:54 | 显示全部楼层
planenalp 发表于 2024-5-5 15:33
“然后最后收尾时,来一遍SRC-SRC,强化SRC就行了。”
刚好我在测试的320Liae卡这个阶段,请问这种Liae的 ...

删AB后是需要重练的,只是会稍微快一些。
你说的第三条,是因为换脸的效果,是储存在最大的OPT那文件里(预览上的第五列),删AB后又不怎么练的,实际上还是之前的效果。
LIAE我基本就是理论,我个人是只玩DF的。
回复 支持 反对

使用道具 举报

1

主题

106

帖子

858

积分

高级丹师

Rank: 5Rank: 5

积分
858
发表于 2024-5-5 15:54:05 | 显示全部楼层
wtxx8888 发表于 2024-5-5 15:42
删AB后是需要重练的,只是会稍微快一些。
你说的第三条,是因为换脸的效果,是储存在最大的OPT那文件里( ...

如果只是常规训练过程的多次删AB,loss值很快会降回删之前的水平
但是这种删AB同时改对练,速度给我感觉慢得就像从0开始

所以你平常DF改对练也是类似情况2这样直接更换数据集别的参数都不改咯?

我改对练的初衷是因为大家总说后期的关扭曲、开GAN等操作都会变得越来越像DST,就想能不能通过在相应位置改对练来对冲掉不良影响,只是目前看来小问题一大堆

看来目前综合各方面我也只能选择情况2了,除非不改对练按传统方式练,或者是你的那种硬扭到底也是一种可行的办法,除了耗时多亿点点
回复 支持 反对

使用道具 举报

36

主题

254

帖子

2636

积分

初级丹圣

Rank: 8Rank: 8

积分
2636
发表于 2024-5-5 16:02:49 | 显示全部楼层
wtxx8888 发表于 2024-5-5 13:27
额,SRC不想搞精良的话,那也没必要删DST,查出DST的图那得多费劲?
直接无视就得了,随便练练SRC-DST ...

OK,又学到了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-25 11:02 , Processed in 0.144294 second(s), 38 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表