关于现在dfl模型训练的参数的讨论！

slib

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

看了 秋叶大佬讲的一些参数讲解之后，我觉得bs和learning rate这些在dfl里应该也是一个道理，那么通过这些原理能不能找到更好的模型训练方法呢？




这是我对视频的一些总结

通常的训练方式是bs一开始开的小（例如4）先让模型大概学个人物轮廓，后面再开大bs让模型收敛。也就是训练初期做轮廓，训练后期做细节，但是我搜索了一下并没有关注太多学习率的帖子。

大多数训练建议是在8bs的时候开启learning rate drop out，确实这个选项是用来让模型训练更细节的，但是有个疑问就是这个功能是让学习率在训练过程中自动缓慢下降呢，还是直接把学习率调低？如果是直接调低那调节自定义学习率是不是一样的效果？

而且，如图中所示，大学习率让loss降得更快，应该在训练初期开启大学习率，那默认的学习率，如ICE版本是 5e-5，算高或者低呢？隔壁stable diffusion是有一个adaption模型可以帮你找到理论上最佳的学习率但是dfl
似乎没有，之前看到ME版是可以看tensor board来分析学习率的但是也并没有细说应该如何根据loss曲线调节学习率。

由dfl自带的帮助显示，learning rate drop out 开的时机是before disable random wrap, 那 random wrap这个选项是用来泛化的还是收敛的呢？

我思考的理论：训练初期为了更好的泛化以及更快的迭代速度，只开bs4，不开启学习率下降，随机扭曲以及颜色转换等训练人物细节的选项。中期前期开始bs8，降学习率乘以2，开启随机扭曲，之后再开始学习率下降以及其他细节选项，训练后期开启显卡极限bs，学习率乘以bs增加的倍数以及关闭随机扭曲和学习率下降和其他除颜色转换外所有参数，开启gan。以上是我拙见，希望大佬指正




由于现在很多种版本的DFL，以及时过境迁很多人对训练参数也有了新的理解，所以特开此贴想看大佬们现在如何看待这些参数。

jiesi

这些都是浮云，，有牛逼的设备才是王道，

sduer1

设备当然重要，但是参数的时机选对了也能加速收敛吧

hhh7019

这些概念在所有机器学习里都是一样的吧。
如果你要研究最优效率，那是摸曲线，自定义学习率这样是最优解。
但这边有梯度剪裁这东西，网上也找不到太多原理的资料，使得开启后和学习率下降有了冲突，那么理论就不正确了。
至于dfl的学习率下降开启后是个衡定值还是根据当前loss值有加权啥的，随便翻翻代码就知道了吧。

slib

jiesi 发表于 2023-5-28 16:28
这些都是浮云，，有牛逼的设备才是王道，

丹方更是重要呀

seancai110

hhh7019 发表于 2023-5-28 19:17
这些概念在所有机器学习里都是一样的吧。
如果你要研究最优效率，那是摸曲线，自定义学习率这样是最优解。
...

所以梯度裁剪开不开？我现在怕跑崩，都是gan0.1，开梯度裁剪