预训练开了学习率和梯度对后期的正训有没有什么影响

dfl9999

mjy9921130 发表于 2025-5-3 22:03
dfl原版预训练不开扭曲有什么好处？木兰预训练开扭曲又是为什么呢？我用原版，src和dst放相同的杂图，开 ...

dfl原版预训练扭曲是禁用的，ice是因为改了模型架构可以在预训练开扭曲，可以加速正训阶段dst的学习速度，预训练阶段扭曲不是必须的，不过有更好

zsgdfl2023

mjy9921130 发表于 2025-5-3 22:03
dfl原版预训练不开扭曲有什么好处？木兰预训练开扭曲又是为什么呢？我用原版，src和dst放相同的杂图，开 ...

预训练不开随机扭曲主要是为了：

1. 提高训练稳定性和效率
2. 让模型先学会基础的人脸特征
3. 为后续的精细训练打好基础
这是一个渐进式的训练策略：先在相对简单的条件下学习基础特征，再在复杂条件下进行精细调优。