模型复用lr_dropout是不是真的影响泛化学习,求滚石解惑

pasanonic

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

     重新练了模型,有点拿不住注意了

     lr_dropout是走捷径,会削弱了模型推演,复用模型如果开过就要一直开,不能关,而且学习的范围框死了,是真的吗?

大长卿

坐等大佬解答，我来学习一下

wtxx8888

预训练由于是作为起始丹，需要N次复用，所以不要开，完工后留好文件，作为无限量的专丹前置。
以后用上述副本，进行正训变成专丹时，可以开了至成品后，此副本封丹（不复用，只合成）。

tellmewhatsup

先不管这个问题有没有正确答案。别人提供的丹，基本都开过LRD了，你用还是不用。如果是自己炼的预训练丹，那这问题也很好处理啊，在开LRD前备份，复用丹就用这个备份的。

Deannnn

肯定影响，模型收敛了就丧失泛化能力了，要复用且换src的话要重新开始扭，换dst问题不大

qiuyuande

练万能底丹 就不要开学习率  同样一个底丹 一个开了的 一个没开的 经过大量多种测试，开了学习率的对比没开学习率的，在学习某些东西的时候会慢些。所以练底丹 开了学习率的 没有没开学习率的泛化好! 建议练底丹不要开学习率，等你练好底丹备份好，以后复用了，随便整，反正有底丹在 起步就很快了！