根据Google 的调参手册，BS 越大越好，节省时间不影响结果

ulu

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

意思是 BS 尽量调大，会节省训练的时间。如果要关注训练的结果，调节学习率或者正则化手段比如 随机扭曲、LRD、Ada、梯度裁剪比 BS更重要。
以下是 GPT 的总结：

• 批量大小不直接提升验证集性能
  
  

• 批量大小主要影响训练速度和资源消耗
• 理论上，调好学习率、正则化等超参数后，不同批量大小可以达到相同最终性能
  
  

• 批量大小关键点
  
  

• 影响训练时间：批量大，每步处理样本多，训练可能更快
• 影响开发迭代速度：训练快能尝试更多超参数组合
• 影响资源消耗：批量改变时资源消耗可能变化
  
  

• 实用规则：尽量用硬件能支持的最大批量
  
  

• 最大批量提升训练吞吐量（单位时间处理更多样本）
• 通常用 2 的倍数（32, 64, 128…）便于调度内存和计算
• 硬件受限时，可以从小到大尝试，找到不 OOM 的最大批量
  
  

• 评估批量大小效果
  
  

• 训练时间 = 每步时间 × 总步数
• 批量大，每步处理多数据，总步数可能减少
• 资源消耗：批量越大，可能占用更多内存，需要分布式训练
• 如果大批量显著提升效率，总资源消耗可能降低
  
  

• 特别提示
  
  

• 不要依赖批量大小提升验证性能
• 梯度累积只是模拟大批量，并不一定提升硬件吞吐量
  
  

核心结论

批量大小是训练效率和资源利用的工程超参数，而不是提升模型验证性能的关键。策略是：先调好学习率等关键超参数，再用硬件能支持的最大批量加快训练节奏。

下面为原文链接，感兴趣的可以打赏一下，刚来论坛灵石不够用。

ulu

我学到的：
BS 调大多少，相应的学习率就调大多少
使得迭代时间不变同时可以处理更多的数据（步长不变），这样你的训练效率才会明显的提高。
如果你只调高 BS 不调学习率，你的步长还是不变的，根据公式，平均到每个样本的梯度还是一样的，并没有增加步长，所以单次迭代 loss 下降的幅度还是一样的。

Δw（每步的梯度）=lr（学习率）x （样本的平均梯度）

可以按照下面的经验公式调大学习率，来抵消 batch 越大带来的平均化缩小效应。

（来源：Goyal et al., 2017, ImageNet 训练）

线性缩放规则（Linear Scaling Rule）：如果 batch size × k，学习率也 × k；

这意味着在理想情况下，增大 batch size 后调大学习率能够保持梯度更新步长的实际效应，提高收敛速度。
但是 Google 没有提到大 BS 会拉平梯度导致皮肤纹理、睫毛这类的细节（图像的高频特征）被多个样本拉平导致学习不好的副作用，

可能是因为 Google 的手册针对的是大规模训练（可能百万或者千万以上级别的数据集），

和 DFL 这种，特定角度图可能只有几张的场景是不同的，没咱们炼丹精细。

结论是BS还是不宜 一上来就开太大，根据群内大佬的经验来说，BS 设为 4开始是比较稳妥的。

等人脸比较贴近 SRC 再调大BS（ 如果要调大，建议开 LRD）

通过 LRD 可以抵消一部分 大 BS 的副作用，也就是平均脸学不好细节的问题。（作用有限，不能完全抵消）

LRD属于正则化手段；正则化 = 通过限制模型某些能力或加入随机性，让模型不能只依赖少量特征。