请教下大神，Batch_size的大小跟脸的清晰度有没有关系？

udbwfy

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

请教下大神，Batch_size的大小跟脸的清晰度有没有关系？

wtxx8888

Batch_size  等于每次迭代，处理的图片数量。
BS越大，选图的LOSS越集中，部分图清晰较快，因为这部分训练集中，觉得好像练的快，实际上是剥夺了，其他图的训练机会来的（预览里部分图，始终是一塌糊涂）。
BS越小，选图的LOSS越广阔，整体下降越均匀，练不到的图越少，但清晰观感需时越久。

至于到底哪个快，在显卡算力不变下，耗时是一样的（即同时间内，BS乘以迭代数得到的，处理图片总量是相等的，误差一般在15%以内）。
大BS为了处理练不到的图，一般需要返工练第二遍（一般都是未被点名的，大角度高LOSS图），或者花双倍的处理时间，开大BS专训项目。
小BS返工的图少，甚至可以不返工所以时间上差不多，但一般都会倾向于，用大BS加大LOSS专训（极限压榨显存）。

综上所述，BS跟清晰度一毛钱关系没有，清晰度是取决于你准备的素材品质，以及丹的四维参数大小。而BS只是管训练量，如何分配而已

另说一句，一张图并不等于BS 1。在DFL中，一张素材图片需要算放大15%，加自身，加缩小15%三份。
当开了随即扭曲，这张图还会对上述的三份，增加左右倾斜各15度，即上3份乘以左右倾斜的3X2=6，所以开了随即扭曲时的BS 6，实际上才处理了一张图

Lau9

wtxx8888 发表于 2024-3-24 22:53
我是目测预估，没看太多的代码，懒。
下图是缩放，这观感怎么看也不像0.5。

它定了一个区间，随机的。有时候幅度特别小。  MVE分支是0.5~2倍之间。 所以我就有想法：512模型在SAEHD需要768的素材，而在MVE需要1024的素材

wtxx8888

wzx945 发表于 2024-3-24 08:47
有点困惑了，照你的意思，小BS反而某种程度上来说有优势？
而且训练时会根据BS训练不同范围的图，这点让我 ...

自己改变BS值大小，然后盯着训练时LOSS数字跳动的最大与最低值。
BS改变后LOSS跳值范围一不一样，不一目了然的玩意？有啥困惑的？
为啥N多人训练时，有些图始终是练不到的，就是BS大小决定的，训练集中程度不一样。
数学都学哪里去了？比如BS开1，有2个图，都各训练一次，迭代为2，即1X2总量为2.
然后改为BS开2，会变为迭代一次，是训练其中一图2次，总量还是2X1为2，你说会是啥结果？
上述的前者，2个各1次都为清晰50%，而后者是1个连续两次的清晰一百，一个为0 未训练，但耗时是一样的（低BS速度快，高BS速度慢，但总体耗时的误差并不大）。
观感上是不是觉得大BS的会快？毕竟有个全清晰了。训练时多观察吧，别成天全是挂机

丹并不存储LOSS值，丹（模型）存的是图像列阵，这玩意更像是绘画的能力，是偏向逻辑性的东西。
我只是学AI绘图时，大概了解过，也是一知半解。如AI绘图成像最初，就是以全噪点的图像列阵起步。
LOSS值应该是根据模型（丹）既存的图像列阵库，与目标原图对比相似程度，然后瞬间判断出来的偏差值。（猜测）

大长卿

你说没有吧，好像是没直接关系。你说有吧，它的确也有间接影响

sex871

载重量的大小跟车厢里的瓜保不保熟没啥关系，跟你要跑多少趟有关系

udbwfy

wtxx8888 发表于 2024-3-23 22:40
Batch_size  等于每次迭代，处理的图片数量。
BS越大，选图的LOSS越集中，部分图清晰较快，因为这部分训练 ...

谢谢

wzx945

wtxx8888 发表于 2024-3-23 22:40
Batch_size  等于每次迭代，处理的图片数量。
BS越大，选图的LOSS越集中，部分图清晰较快，因为这部分训练 ...

有点困惑了，照你的意思，小BS反而某种程度上来说有优势？
而且训练时会根据BS训练不同范围的图，这点让我震撼了，我以为训练是在整个SRC的范围内随机的，照你的意思，开大BS会导致有些高LOSS图训练不到，反而小BS能训练到更大范围的SRC。
我其实也注意到BS大小对于LOSS的波动范围有影响，但我以为，loss反映的是单位步数的loss平均值，因此小BS的波动范围比大BS的loss值波动范围大。

但是我还是有点疑惑，如果训练时是根据loss值大小来定向抽取图片进行训练，岂不是说，每张图片其实本身已经携带对应模型的loss值信息了？那这部分loss值信息储存在哪？训练的图片量越大，这部分信息岂不是也会越大？岂不是说用大量图片训练出来的模型，会比相同参数但图片量小的模型数据量要大一些？但是相同迭代相同参数的模型似乎大小没什么不同啊。。。

pasanonic

wzx945 发表于 2024-3-24 08:47
有点困惑了，照你的意思，小BS反而某种程度上来说有优势？
而且训练时会根据BS训练不同范围的图，这点让我 ...

图片随机性质点到学习,学习到的图loss就慢慢降,没点到或者点的少的loss就高,所以就要求图片角度尽量齐全但又不要多,越多点到的几率就越低,可以理解为小bs速度快,学习的平均,大bs速度慢,但学的细节多
最后的结果大小bs都差不多,只要你舍得投入时间,归根结底就是切脸图的量要合适,这很难,因为还涉及到表情之类的图,这个最难选择

角度分布工具里每个格子保留20张左右就好了,具体多少可以自己取舍,可以自己切个含角度多表情丰富的短视频做实验来得结果

405759601

wtxx8888 发表于 2024-3-23 22:40
Batch_size  等于每次迭代，处理的图片数量。
BS越大，选图的LOSS越集中，部分图清晰较快，因为这部分训练 ...

萌新试着理解一下，按照大佬你的说法，我是不是可以认为，大的BS选图会在训练过程逐渐选取LOSS较低的图进行训练，反之BS越小他就有更多机会选取LOSS高的图进行训练？

androw01

该研究怎么让srt素材清晰，srt素材不行一切白搭