所以，batch size影响的不仅仅是速度？

dfllearner

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

下面是chatgpt的解说


在神经网络的训练过程中，批量大小（batch size）是指每次迭代训练中所使用的样本数量。批量大小对训练过程有一定影响。

泛化能力：较大的批量大小有时可能会导致模型的泛化能力下降。较大的批量大小意味着模型更新的频率降低，可能导致模型在训练过程中过度拟合训练数据，而无法很好地泛化到未见过的数据。较小的批量大小可能会提供更多的随机性，有助于模型更好地泛化到新数据。

参数更新的稳定性：较大的批量大小可以提供更稳定的梯度估计。由于批量中的样本数增加，梯度计算的方差减小，从而使参数更新更加稳定。这可能有助于防止模型陷入局部极小值或鞍点。

训练速度：较大的批量大小可以加快训练速度。当使用较大的批量大小时，计算图的并行度增加，可以更充分地利用硬件资源（如GPU）进行并行计算，从而加快训练速度。这是因为在每次迭代中，模型只需计算一次梯度并更新一次参数，而不需要对每个样本进行单独的参数更新。

内存需求：较大的批量大小需要更多的内存来存储样本及其对应的梯度。如果内存资源有限，选择较小的批量大小可能更为适合。


总的来说，选择适当的批量大小取决于具体问题和可用资源。在实践中，可以尝试不同的批量大小，并根据训练速度、内存需求和模型的泛化能力等因素进行权衡和调整。

djblue999

那到底具体怎么设置呢？

dfllearner

djblue999 发表于 2023-6-20 08:40
那到底具体怎么设置呢？

我也也不清楚。chatgpt说：“在实践中，可以尝试不同的批量大小，并根据训练速度、内存需求和模型的泛化能力等因素进行权衡和调整。”

kkvfhptg

dfllearner 发表于 2023-6-20 09:29
我也也不清楚。chatgpt说：“在实践中，可以尝试不同的批量大小，并根据训练速度、内存需求和模型的泛化 ...

终于chatgpt将自己变成了专家

seancai110

以前说的是，先bs=4跑人物出来，然后再调大bs跑细节。

但是现在大家有底丹，已经不纠结跑出人物了，都在纠结细节问题，所以bs当然是越大越好，跑满显存最好啦。

AKERSHUS

前期rw4，后期开到最大。

ccctttccct

seancai110 发表于 2023-6-20 14:26
以前说的是，先bs=4跑人物出来，然后再调大bs跑细节。

但是现在大家有底丹，已经不纠结跑出人物了，都在纠 ...

底丹作用不大，闭眼，开眼，张嘴，闭嘴，眼珠方向。还有转身时，边上的半只眼睛，这些底丹能力有限

come3002

ccctttccct 发表于 2023-6-21 05:57
底丹作用不大，闭眼，开眼，张嘴，闭嘴，眼珠方向。还有转身时，边上的半只眼睛，这些底丹能力有限 ...

感谢分享宝贵经验。
最初切src和dst是稀里糊涂默认的wf512 质量90%逐帧保留，
紧接着受论坛src板块影响，看别人删重跟着过度删重。
后来才发现，src删重能加快训练速度，但某些场景 逐帧保留更多细节，增加“下牙齿”“仰角”图片比例。但不好找平衡点。
现在看，应该训练初期用删重的素材，但是要建立 “闭眼 开眼 张嘴 眼珠”等src包 。方便后期做这几类的强化训练

ccctttccct

come3002 发表于 2023-6-21 06:57
感谢分享宝贵经验。
最初切src和dst是稀里糊涂默认的wf512 质量90%逐帧保留，
紧接着受论坛src板块影响， ...

其实这样最好，先无差别的保留一批，不删重的图片，再对他进行添加，缺角度的补角度，缺牙齿补牙齿。这样才最好。你先要留一批，清晰的没用过度删重的图片，作为底部图片的

YouChangGe

预训丹可以小BS开始炮哥20W左右 开大BS  可以一直跑到预训结束，转正训这已经是个成熟的模型了，直接大BS怼就行