求教loss值降速慢的感念，请大神们赐教。

gezhenhai

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

论坛里学习了很多知识，经常看到loss值降得特别慢，甚至不降反升，这时候我们是不是就应该修改参数进行下一步的训练？那什么样的情况算是loss值降得慢了呢？比如每几万次的迭代loss值只降了0.0几，如何来衡量这个标准呢？
如图所示，23715迭代，原损失降了0.0159，目标损失降了0.0111。这样的loss值下降算慢吗？是不是降到这样的程度，咱就可以停止这一步的训练，随后修改参数进行下一步的训练。对于新手来说，这个尺度实在是很难把握，对于loss值下降的概念比较模糊，有个具体数值的参照，那就明朗多了，还望大神们赐教。

wtxx8888

以值为标准。看速度的话，在图片量大时（如预训练），上百小时才掉0.01的级别，都不一定能达标。
只是多数在云上面挂机，看不到罢了。
自己弄几万图跑一次预训练，你就心里有谱了，几小时就降的，才哪到哪
值越低代表所有图都达标，值高代表很多图没练到，看曲线，要控制上限与下限差，在0.1左右（DFL原版下，就是看起来一格的线差，没有LOSS平滑的话，这都还有很多图较糊）

gezhenhai

wtxx8888 发表于 2024-2-15 09:44
以值为标准。看速度的话，在图片量大时（如预训练），上百小时才掉0.01的级别，都不一定能达标。
只是多数 ...

我这是小巫见大巫了

Deannnn

你src的loss这么高，不如去检查一下数据集的图片和遮罩

gezhenhai

Deannnn 发表于 2024-2-15 17:03
你src的loss这么高，不如去检查一下数据集的图片和遮罩

src图片非高清的。使用的素材人物没有高清片。

tellmewhatsup

3秒一次，25分钟是如何做到2500多迭代的？

gezhenhai

tellmewhatsup 发表于 2024-2-15 20:26
3秒一次，25分钟是如何做到2500多迭代的？

0656ms/次，显示3s/次，估计是显示错了吧。

lknet

这种属于稳定下降期

fireKAI

老兄你从一开始也是这个速度吗？我跑一天从1.2掉到0.9也是从0 .几慢慢掉

gezhenhai

fireKAI 发表于 2024-2-17 18:42
老兄你从一开始也是这个速度吗？我跑一天从1.2掉到0.9也是从0 .几慢慢掉

我src素材不是高清的，将近1万张素材，所以loss难下。