12 / 2 页

预训练开了学习率和梯度对后期的正训有没有什么影响

36 主题	513 帖子	1万积分

Rank: 13

发表于 2025-5-3 23:05:17 | 显示全部楼层

mjy9921130 发表于 2025-5-3 22:03
dfl原版预训练不开扭曲有什么好处？木兰预训练开扭曲又是为什么呢？我用原版，src和dst放相同的杂图，开 ...

dfl原版预训练扭曲是禁用的，ice是因为改了模型架构可以在预训练开扭曲，可以加速正训阶段dst的学习速度，预训练阶段扭曲不是必须的，不过有更好

回复支持反对

12 / 2 页

GMT+8, 2025-5-18 05:09 , Processed in 0.113547 second(s), 28 queries .

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）