BS加大到底有没有作用啊？

WinKK

明年夏天 发表于 2023-2-1 19:30
你这说得就是个概念错误，只看迭代数的话当然是BS越大越好，关键是你BS大，迭代时间也长啊。
单次迭代时 ...

你这个算法有道理，只是，我不知道BS大的时候，迭代一次得到的结果会不会更好一些？

按我现在的迭代时间看，BS＝４时是７６0ｍｓ，ＢＳ=8时是1２０0ｍｓ，ＢＳ=1６时是2１00ｍｓ。BS大的时候，效率更高一些。这样看，在收敛阶段确实是BS高一些更好。

jinyuan37

WinKK 发表于 2023-2-1 21:02
你这个算法有道理，只是，我不知道BS大的时候，迭代一次得到的结果会不会更好一些？

按我现在的迭代时间 ...

一次学习8张图学2000次，和一次学习16张图学1000次的区别

lyjly

明年夏天 发表于 2023-2-1 19:30
你这说得就是个概念错误，只看迭代数的话当然是BS越大越好，关键是你BS大，迭代时间也长啊。
单次迭代时 ...

小bs是成像，大bs是勾勒细节，过了成像阶段，都是开最大bs去炼的，滚石对bs的解释：介绍：每次迭代程序会随机选batchsize张图来学习，数量越大模型每次进步的方向越准，单次迭代时间也越久，需要的显存也相应成倍增加。我对这段解释的理解就是，大bs每次迭代的方向都会比小bs要准确 ，这样的话大bs的效果 肯定要比小bs好。

明年夏天

lyjly 发表于 2023-2-1 22:02
小bs是成像，大bs是勾勒细节，过了成像阶段，都是开最大bs去炼的，滚石对bs的解释：介绍：每次迭代程序会 ...

我个人觉得理解有偏差，单次迭代时间越久不代表分配到的算力是恒定的，如果这样的话，BS开得越大，迭代时间越久，显卡输出的算力就越牛逼。
可是实际看显卡输出功耗基本是波动不大的，也就是算力总量不变，单次迭代分配到每个BS上的算力就那么多，时间长效率低了。
显存只是代表容器大，算力还是那些算力，除非是算力有冗余，BS小的时候消化不光，上大BS才能压榨出来。

明年夏天

WinKK 发表于 2023-2-1 21:02
你这个算法有道理，只是，我不知道BS大的时候，迭代一次得到的结果会不会更好一些？

按我现在的迭代时间 ...

你这个上大BS肯定合适啊，只要单位时长能缩短肯定是能上多大BS上多大。
我的P40显卡24GB显存，很多时候开大BS，都是成倍延长时间的，单位时长缩短不了

feng7902

明年夏天 发表于 2023-2-1 19:30
你这说得就是个概念错误，只看迭代数的话当然是BS越大越好，关键是你BS大，迭代时间也长啊。
单次迭代时 ...

但是迭送的次数越多针对的效果也是不一样的，迭送的次数并不是在唬人的，对后期使用的效果，面部是否存在异常或者抖动的情况，是有关系的

WinKK

lyjly 发表于 2023-2-1 22:02
小bs是成像，大bs是勾勒细节，过了成像阶段，都是开最大bs去炼的，滚石对bs的解释：介绍：每次迭代程序会 ...

从图上看，BS值越大，LOSS值的波动越小，可以证实你说的“方向准确”的情况。可是，似乎对收敛速度没什么帮助，我甚至觉得BS增加后，LOSS值下降更慢了。是不是因为BS增加后，造成迭代次数下降呢？

我现在是选择中间值8在训练。

WinKK

明年夏天 发表于 2023-2-1 22:40
你这个上大BS肯定合适啊，只要单位时长能缩短肯定是能上多大BS上多大。
我的P40显卡24GB显存，很多时候开 ...

我的也是P40，觉得这卡性价比非常高

不过，我还不大会玩这卡，装的是Data Center的驱动，不知为什么装其他驱动就容易蓝屏 这样，就只能跑AI。

qiuyuande

WinKK 发表于 2023-2-2 06:05
我的也是P40，觉得这卡性价比非常高

不过，我还不大会玩这卡，装的是Data Center的驱动，不知为什么 ...

素材好 bs4 也能 干出很清晰的睫毛 和眉毛

WinKK

qiuyuande 发表于 2023-2-2 07:24
素材好 bs4 也能 干出很清晰的睫毛 和眉毛

目前眉毛差不多了，但是，睫毛还光秃秃 不过，才练断断续续了130W，有潜力。