关于batch size和泛化的问题

ddeeeepp

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

所谓的泛化和风格化是相反的吗?


那么batch size的介绍里说有助于神经网络的泛化, 那么我在训练一段时间之后开始关闭扭曲打开gan,面部风格等选项开始风格化训练, batch size是不是就可以适当取小以提高迭代速度?

若苗瞬

①不是
②不是

PS：感觉LZ可能想问的是欠拟合和过拟合吧。
神经网络的泛化，是指我们的模型从给定数据中学习并将所学到的知识应用于其它地方的能力。
那么，你希望它弱一点？

seraisimmortal

bs小会增加一个epoch里权重的更新速度，但更少的样本带来的是更不稳定的梯度，可能局部过拟合，也可能得到更尖锐更好的拟合效果。
bs大了则梯度会更稳定，但可能陷入局部最优，只管来说就是每张图片都要兼顾所以每张都学不好。