请问是否存在过度预训练的问题?

yui844100

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

如题，若我的预训练素材很少，只有1W出头，那一直疯狂练丹迭代是否会存在过度预训练的隐患?

如果会，我最好在多少迭代就收手?

ken2099

存在的。过度训练会过拟合，就是学坏了
多少迭代是没有硬标准的，和参数，分辨率，素材复杂程度息息相关
一般看loss长时间不再下降就差不多了

nsa

千万次的预训练很容易爆的 百万级别不用担心