随机扭曲的取舍问题

xylego

wtxx8888 发表于 2024-7-23 23:23
除非复用别人LOSS很低的丹，不然出细节，它就不是个，快得了的东西。
别人那都是，论月挂机才出的。
新手 ...

我原话的意思不是开了LRD就关随机扭曲，确实有一段时间LRD和随机扭曲共存的。
因为LRD本质就是降低学习率，让梯度下降的更慢一点，loss得到平稳的更新。

可能大家练法都不一样。我论坛搜到的：

英文原版官方训练步骤
https://dfldata.cc/forum.php?mod ... 0&highlight=2.0

第五步：
5.
adabelief （AB优化器）: 一直开
Enable HSV power （启用 HSV power强度）：0.05
ct_mode（色彩变换）: rct或lct
RW随机扭曲：关
Enable gradient clipping梯度裁剪：开
eyes_mouth_prio （眼嘴优先）: 关
Uniform_yaw （均匀侧脸）：关
learning rate drop：关
True face power 真脸强度：0.0
GAN poewer： 0.0

专属神丹成型步骤总结
https://dfldata.cc/forum.php?mod=viewthread&tid=9528

第五步中也同时关闭了这两项，同时gan并没有开启。不过这一步应该是为了开真脸训练。
关闭：学习率下降 Use learning rate dropout
关闭：样本随机扭曲：Enable random warp of samples

wtxx8888

xylego 发表于 2024-7-24 00:41
我原话的意思不是开了LRD就关随机扭曲，确实有一段时间LRD和随机扭曲共存的。
因为LRD本质就是降低学习率 ...

（learning rate dropout）LRD跟学习率，一毛钱关系没有。
是用空数据（LOSS 0），替换不必要的学习。
LRD的论文。。。
https://arxiv.org/pdf/1912.00144v2.pdf

想开真脸，要求SRC素材，必须为高品质，不然，表情僵硬没跑。

另，关扭曲的，那是LIAE架构的特殊算法，DF能也关？
感觉你看教程，不注重细节。。。

vancheap

wtxx8888 发表于 2024-7-24 01:02
（learning rate dropout）LRD跟学习率，一毛钱关系没有。
是用空数据（LOSS 0），替换不必要的学习。
LRD ...

lrd和学习率还是有关系的，dropout打开后，学习率会自动调整，dropout打开会随机的暂时性丢弃一些数据

xylego

wtxx8888 发表于 2024-7-24 01:02
（learning rate dropout）LRD跟学习率，一毛钱关系没有。
是用空数据（LOSS 0），替换不必要的学习。
LRD ...

感谢论文，收获良多，对我自学ML也很有帮助。
lrd与学习率还是有点关系的，不过绝对不是“降低学习率”。

只能说汉化版软件有误导性，翻译一直是“使用学习率下降”。。。其实实质是随机把部分参数的学习率归零增加随机性。

另，关扭曲的，那是LIAE架构的特殊算法，DF能也关？

我参考的是外网英文原版教程
https://www.deepfakevfx.com/guid ... batch-files-folders
里面确实提到了关闭lrd，也提到了liae架构需要删AB文件，但没有具体说关闭lrd是针对是哪种架构。

Step 6 – Regular Training
Disable Random Warp
Disable Uniform Yaw
Disable Eyes and mouth priority
Disable Use learning rate dropout

我练的都是DF丹，如果不关扭曲，请问是不是如你所说在开gan之前扭曲都不停，硬刚loss？

最后再次感谢耐心回答，我不是硬杠，而是时间有限炼丹经验确实少，只能参考自己能找到的东西。

wtxx8888

xylego 发表于 2024-7-24 21:05
感谢论文，收获良多，对我自学ML也很有帮助。
lrd与学习率还是有点关系的，不过绝对不是“降低学习率”。 ...

DF开GAN前，就是硬刚LOSS。
你开LRD已经不属于硬刚了，LRD本身，就会快速LOSS下降。
不开LRD的，才叫硬刚，开LRD本身，就已经是取巧了。