试一下在预训练阶段强开始扭曲

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

预训练我认为是最需要随机扭曲这种正则化措施的阶段，因为很容易过拟合到特定的数据结构，预训练需要的是随机初始化权重，训练不当反而会对正式训练前期产生负面影响。
作者在预训练强制关闭了随机扭曲，因为预训练的人脸素材是庞杂和随机的，对身份特征很不敏感，强开随机扭曲反而会导致模型发散。
所以我想了个办法，让每次迭代之前进行随机，30%概率样本扭曲，70%概率不扭曲，这样70%的样本保证了梯度方向不至于偏离，模型也不会发散，同时也能享受到随机扭曲带来的正则化好处
ICE是允许在预训练阶段开启随机扭曲的，所以我认为dfl在预训练阶段开启随机扭曲也不是绝对不允许

丸丸

放弃预训练，直接开始正训

wtxx8888

扭曲 不参与预训练的 关键点，是在于 转成新的素材时，高概率炸丹。

超多人 不用参数去跑预训练，而用SRC-SRC方式的 目的，就是为了 开扭曲及颜色模式的。
只要自己 能处理好，换新素材时 不炸就行。（各作者 懒得给小白解释，不炸的操作。索性就不开扭曲，这多省时省力？）
个人看过的资料，就没有说，预训练 必须不能开扭曲 的说法。
所以，自己用，又有能力 保证开着扭曲换新素材不炸的，完全就是随意开。。。

丸丸

wtxx8888 发表于 2025-9-27 00:29
扭曲 不参与预训练的 关键点，是在于 转成新的素材时，高概率炸丹。

超多人 不用参数去跑预训练，而用SRC- ...

主要是学习率调高太容易炸，有些人又喜欢开梯度裁切，关了更容易炸了

dfl9999

wtxx8888 发表于 2025-9-27 00:29
扭曲 不参与预训练的 关键点，是在于 转成新的素材时，高概率炸丹。

超多人 不用参数去跑预训练，而用SRC- ...

预训练self.options_show_override直接覆盖用户配置，需要注释掉随机扭曲那一行才能开，不会改的人预训练把随机扭曲改成y也不会生效啊，预训练开随机扭曲模型梯度肯定发散，转正训肯定炸的天昏地暗，所以我开了30%的强度试一下水

dfl9999

丸丸 发表于 2025-9-27 01:15
主要是学习率调高太容易炸，有些人又喜欢开梯度裁切，关了更容易炸了

正训随机扭曲阶段必须开高学习率来保证随机扭曲的效果，不是所有人都会用低学习率切入，然后预热到高学习率的，至少这个论坛我没看到有人这样做过，而且5e-05都炸丹的话说明模型已经发散了，我就是在探索不发散的途径

wtxx8888

dfl9999 发表于 2025-9-27 01:43
预训练self.options_show_override直接覆盖用户配置，需要注释掉随机扭曲那一行才能开，不会改的人预训练 ...

扭曲 换新素材炸，是因为没训练的 背景那部分。
那部分的像素 有问题，这应该 谁都能意识到吧？
这才是关键点。跟学习率 真一毛钱关系没有。
你看原版更新日志，新增 AB优化器那，LRD都可以不需要。
可见学习率，纯属可变可不变的玩意。

再说 其他AI的学习率吧，也都基本不会让你随便变。比如绘图练LORA，从头到尾 就一个学习率吧？
这才是学习率应用的事实。。。 无关紧要。

dfl9999

wtxx8888 发表于 2025-9-27 08:13
扭曲 换新素材炸，是因为没训练的 背景那部分。
那部分的像素 有问题，这应该 谁都能意识到吧？
这才是关 ...

我用余弦函数控制学习率在一定范围内变换，会大大加速训练过程，以前50万才出的效果20万迭代就出了，以前要训练到150万的模型50万就收敛了，这才是变学习率的价值所在啊

wtxx8888

dfl9999 发表于 2025-9-27 08:32
我用余弦函数控制学习率在一定范围内变换，会大大加速训练过程，以前50万才出的效果20万迭代就出了，以前 ...

你觉得好 就好吧。
我也测试了 你的代码，没感觉快了。

狗蛋

wtxx8888 发表于 2025-9-27 00:29
扭曲 不参与预训练的 关键点，是在于 转成新的素材时，高概率炸丹。

超多人 不用参数去跑预训练，而用SRC- ...

你那个新版的mve本来就可以在预训练的时候开启扭曲啊，，，他为啥说不能呢，，用的老方式的预训练？