512-df-ud-1,726,249 赵今麦

Headmaster1615

Winter 发表于 2024-3-27 07:36
我对这个有许多疑问啊：一个是参数，512分辨率，AE才256，很难体现高分的优势啊；第二是看了你的SRC，是多 ...

对比图

zocklim

Headmaster1615 发表于 2024-3-27 09:26
对比图

aimi

直接合成效果稀烂

Headmaster1615

前后两段batch分别为1和4.对梯度下降速度影响几乎没有。
原理上来说，每一个batch都会产生一次梯度更新。batch是4的时候是4张图片取平均来更新梯度，1的时候是一张图片更新一次。在训练集数据无误的情况下，无需取平均值即可稳定的更新权重值。
虽然大batch size可以提高计算效率和梯度估计的准确性，但也可能导致模型收敛到较差的局部最优解。另一方面，小batch size（如1）使得模型更频繁地更新，有助于更好地探索参数空间，但训练过程中的方差更大，可能导致训练过程更加嘈杂和不稳定，有概率会产生梯度爆炸。但是在参数中有梯度裁剪，所以也无须担心梯度爆炸。

古月方源

感谢老哥分享

aimi

直接合成惨不忍睹

Headmaster1615

aimi 发表于 2024-4-10 19:33
直接合成惨不忍睹

当预训练模型用吧，我再跑一跑。