3秒甚至6秒一个迭达，是不是太慢了

menglue

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

           咨询一下，我在练416，448的模型！预训练或者正训时，3秒甚至6秒一个迭达，是不是太慢了？要不要调低一点，如果要调，调到多少合适，8？10？12？顺便问一下，我准备预训练到300万，在这期间，分为几个阶段来调整训练参数？多少万到多少万调一次，调哪些？在网上看了很多帖子，说的都不一样，哪个大神指导一下了，谢谢了！     我现在暂时只开了随机扭曲和遮罩训练！

ken2099

你这个速度，一天也就2.5万迭代，想要跑到300W，差不多要120天。
加油加油
BS16是很合适的值，你调低了意义不大。虽然调到BS8，迭代速度会快一些，但是需要的迭代数量也会增加。
意思是说BS16跑100万，能顶BS8跑200万迭代。

menglue

ken2099 发表于 2022-12-24 22:53
你这个速度，一天也就2.5万迭代，想要跑到300W，差不多要120天。
加油加油

那我是否要调低一点！！

ken2099

menglue 发表于 2022-12-24 22:55
那我是否要调低一点！！

不需要调低
实际上，高分辨率的丹就是这么难练。

menglue

ken2099 发表于 2022-12-24 22:57
不需要调低
实际上，高分辨率的丹就是这么难练。

诶？你很活跃啊，我的贴子你基本每个都有回，哈哈！
我现在BS是16，是不是调低了，丹的质量不太好？我看到他们有很多开的是8

ken2099

menglue 发表于 2022-12-24 23:03
诶？你很活跃啊，我的贴子你基本每个都有回，哈哈！
我现在BS是16，是不是调低了，丹的质量不太好？我看 ...

一般来说BS高一些好
简单理解，低BS在训练趋近极限的时候，收敛会很慢，高BS看着跑着慢，但是后期LOSS下降反而是稳步前进的。
BS的意思你每次训练的时候，读取几张图片的意思，程序随机做一些学习，这个学习的方向可能是对的，也可能是错的，BS越小，出错的概率就越大，BS越大，出错的概率就越小。
很多人开8，一方面是不理解BS的作用，另一方面不是人人都是32G显存呀。

menglue

ken2099 发表于 2022-12-24 23:13
一般来说BS高一些好
简单理解，低BS在训练趋近极限的时候，收敛会很慢，高BS看着跑着慢，但是后期LOSS下 ...

那我开16应该是对的咯
你玩这个多长时间了？我看你懂的也挺多

menglue

menglue 发表于 2022-12-24 23:16
那我开16应该是对的咯
你玩这个多长时间了？我看你懂的也挺多

我是不是要全程都开着16跑？

ken2099

menglue 发表于 2022-12-24 23:17
我是不是要全程都开着16跑？

全程BS16没有问题。
但是早期还未成像时，BS低一点也可以。

menglue

ken2099 发表于 2022-12-24 23:19
全程BS16没有问题。
但是早期还未成像时，BS低一点也可以。

哈哈，那你看我现在的迭达和成像？  我都是开着8 10 16跑的，现在是16
我看你都在回我贴，加个微吧，做个朋友，你加我！menglue