模型复用lr_dropout是不是真的影响泛化学习,求滚石解惑

pasanonic · 发表于 2024-3-24 09:31:31

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

重新练了模型,有点拿不住注意了

lr_dropout是走捷径,会削弱了模型推演,复用模型如果开过就要一直开,不能关,而且学习的范围框死了,是真的吗?

大长卿 · 发表于 2024-3-24 12:01:53

坐等大佬解答，我来学习一下

wtxx8888 · 发表于 2024-3-24 12:07:35

本帖最后由 wtxx8888 于 2024-3-24 12:15 编辑

预训练由于是作为起始丹，需要N次复用，所以不要开，完工后留好文件，作为无限量的专丹前置。
以后用上述副本，进行正训变成专丹时，可以开了至成品后，此副本封丹（不复用，只合成）。

tellmewhatsup · 发表于 2024-3-24 14:03:19

先不管这个问题有没有正确答案。别人提供的丹，基本都开过LRD了，你用还是不用。如果是自己炼的预训练丹，那这问题也很好处理啊，在开LRD前备份，复用丹就用这个备份的。

Deannnn · 发表于 2024-3-25 08:56:59

肯定影响，模型收敛了就丧失泛化能力了，要复用且换src的话要重新开始扭，换dst问题不大

qiuyuande · 发表于 2024-3-25 10:23:11

本帖最后由 qiuyuande 于 2024-3-25 10:28 编辑

练万能底丹就不要开学习率同样一个底丹一个开了的一个没开的经过大量多种测试，开了学习率的对比没开学习率的，在学习某些东西的时候会慢些。所以练底丹开了学习率的没有没开学习率的泛化好! 建议练底丹不要开学习率，等你练好底丹备份好，以后复用了，随便整，反正有底丹在起步就很快了！

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

模型复用lr_dropout是不是真的影响泛化学习,求滚石解惑

万事如意节日勋章

真我风采勋章