随机扭曲的取舍问题

xylego

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

问一个随机扭曲的问题。练的是DF丹。

1.开着随机扭曲学习学习不到细节，但是输出还是跟src比较像的，特别是人脸。因为本质上就是加强模型的鲁棒性和泛化性。
2.后期细节学习（如皮肤，牙齿等）关掉随机扭曲，但是越练人脸型越向着dst靠拢，五官和脸型也有这个趋势。
3.随机扭曲关了以后就不能再开，不然细节训练就白练了，请问怎么取舍？是不是细节训练不能迭代太长时间？
4.关闭扭曲训练细节，然后一直开启 真脸(true face) 能挽救多少？ 我真脸开久了loss会一直反弹是为什么。

PS: 根据wtxx8888的经验，随机扭曲开得够久也能学到足够多的细节。但我好像看到过一个300多万迭代测试随即扭曲的贴，细节还是学不到。

wtxx8888

LIAE关闭扭曲时的算法，与DF不同。


要细节，有以下选择。
要么开嘴眼优先，纯迭代，硬刚LOSS （扭曲0.2，无扭曲0.1，越低，细节越多)。
要么开LRD出，后面如关闭LRD，开关之间出的细节，直接清空。
要么开GAN，不用说，炸丹概率第一位。

注意！更改扭曲的开关时，会影响既成图像。想微调相似度？那你有的受了（时间成本不定，参数反复开关）。
你教程，纯看了个寂寞。。。

vancheap

wtxx8888 发表于 2024-7-24 01:02
（learning rate dropout）LRD跟学习率，一毛钱关系没有。
是用空数据（LOSS 0），替换不必要的学习。
LRD ...

lrd和学习率还是有关系的，dropout打开后，学习率会自动调整，dropout打开会随机的暂时性丢弃一些数据

wtxx8888

xylego 发表于 2024-7-24 00:41
我原话的意思不是开了LRD就关随机扭曲，确实有一段时间LRD和随机扭曲共存的。
因为LRD本质就是降低学习率 ...

（learning rate dropout）LRD跟学习率，一毛钱关系没有。
是用空数据（LOSS 0），替换不必要的学习。
LRD的论文。。。
https://arxiv.org/pdf/1912.00144v2.pdf

想开真脸，要求SRC素材，必须为高品质，不然，表情僵硬没跑。

另，关扭曲的，那是LIAE架构的特殊算法，DF能也关？
感觉你看教程，不注重细节。。。

seancai110

你可以先把dst换成杂图？这样就不存在偏向问题。其实换脸的时候，专人dst不用怎么练的，模型能识别出五官就行。

DFL小白02

收尾你可以SRC-SRC对练往回拉啊

xylego

seancai110 发表于 2024-7-23 16:30
你可以先把dst换成杂图？这样就不存在偏向问题。其实换脸的时候，专人dst不用怎么练的，模型能识别出五官就 ...

我打算用FFQH作为dst练专人丹试试，不知道行不行。
你的意思是只要dst人脸够多，就算关了扭曲也能一定程度缓解偏向问题是吗？

pasanonic

直接肝扭曲

dfl9999

直接开真脸练就完事了，备份好模型，0.01开始往上调，总会有你满意的效果

dfl9999

模型想收敛扭曲还是得关，不然练久了模型局部l崩掉就有的你受的，rd效果也不错，多备份，多试错呗，论坛那些大手子也懒得教你

xylego

wtxx8888 发表于 2024-7-23 17:08
LIAE关闭扭曲时的算法，与DF不同。

大佬现身解答，感谢。
我目前主要还是练DF丹，请问方法一样吗？
教程我看了，都是前中期步骤大量迭代 随机扭曲，后期关随机开LRD练细节。

我实际操作下来细节出的也不快，也需要挂着慢慢练，但是人脸越练越像dst了。
我知道有个办法是开true face，但好像也有一定副作用就没开。

wtxx8888

xylego 发表于 2024-7-23 21:15
大佬现身解答，感谢。
我目前主要还是练DF丹，请问方法一样吗？
教程我看了，都是前中期步骤大量迭代 随 ...

除非复用别人LOSS很低的丹，不然出细节，它就不是个，快得了的东西。
别人那都是，论月挂机才出的。
新手从零开始一颗丹，就知道了。
还大量DST？盲目追求十几万张的，简直挂到你欲仙欲死！

另，哪个教程开LRD，告诉你关扭曲了？
哪怕你训练时，LRD参数那，打个问号，内部说明也告诉你，开LRD，是不关扭曲的。
要关扭曲的，那是GAN！

当面部训练足够时，您可以启用此选项，以获得额外的清晰度, 并减少亚像素抖动以减少迭代次数。 在“禁用随机扭曲”和 GAN 之前启用它。
以上是，猫汉化内部的LRD说明，明确告诉你，关扭曲前，开LRD。
扭曲跟LRD两者，在不开GAN下，是并存的！要开GAN时，才关扭曲。
顺序关系为：开扭曲>>开LRD（与扭曲并存）>>开GAN的同时，关扭曲（只与LRD并存）。

另一条路：开扭曲>>开嘴眼优先(与扭曲并存)>>开GAN的同时，关扭曲（只与嘴眼优先并存，目的为，固定嘴眼定位）
不开GAN的，纯硬刚迭代也行。
教程，你是看了个稀碎。。。就这点小玩意，还能没看明白？也是醉了。