bs到底开多少合适？

星期六中午

wtxx8888 发表于 2024-10-15 17:22
懂编程？那看DFL代码不知道，DFL没有batch的?
DFL就是这BS一个量，决定一次的数量。一迭代，抓一次BS数的 ...

我是新入手AI换脸，还有很多不知道，代码没怎么看
那按你说，一迭代不就是 1 batch吗？
总是要在一个epoch里将所有图片过一遍的吧？应该不是一迭代就随机从总数里选bs数量图片来训练吧？

wtxx8888

星期六中午 发表于 2024-10-15 17:30
我是新入手AI换脸，还有很多不知道，代码没怎么看
那按你说，一迭代不就是 1 batch吗？
总是要在一个epoc ...

BS 16一迭代的量，等于BS 4迭代4次。
BS 4的4次迭代总耗时，会比BS 16慢0.0150（多三次申请样本的耗时）。
每次生成样本，勿论BS多少，全是遍历全部素材。

星期六中午

wtxx8888 发表于 2024-10-15 17:22
懂编程？那看DFL代码不知道，DFL没有batch的?
DFL就是这BS一个量，决定一次的数量。一迭代，抓一次BS数的 ...

但是我观察到的是相同迭代数内，大BS耗时较长
你到底理解我的截图没有啊？看代码看得懂，看文字和图片看不懂吗

wtxx8888

星期六中午 发表于 2024-10-15 17:38
但是我观察到的是相同迭代数内，大BS耗时较长
你到底理解我的截图没有啊？看代码看得懂，看文字和图片看 ...

你加减法不会算？BS 4的迭代4次的时间总和，再去跟BS 16的单次，比耗时吧。

wtxx8888

星期六中午 发表于 2024-10-15 17:38
但是我观察到的是相同迭代数内，大BS耗时较长
你到底理解我的截图没有啊？看代码看得懂，看文字和图片看 ...

我都看乐了，一直在说BS 16，等于4次BS 4 。
你用BS 4一次，跟BS 16一次比？
4等于人家16的四分之一而已，你怎么想的，跟人家比全部？

星期六中午

wtxx8888 发表于 2024-10-15 17:45
我都看乐了，一直在说BS 16，等于4次BS 4 。
你用BS 4一次，跟BS 16一次比？
4等于人家16的四分之一而已 ...

我是说大bs会略慢，和你第一次讲的大bs会略快，不一样？
你究竟在说啥？
我截的图有问题吗？是实际情况吗？

wtxx8888

星期六中午 发表于 2024-10-15 18:07
我是说大bs会略慢，和你第一次讲的大bs会略快，不一样？
你究竟在说啥？
我截的图有问题吗？是实际情况吗 ...

你BS 8两次存盘间差3983404-3981500=1904
B4的是4008191-4004428=3763

一次BS8 等于2次BS 4，你觉得3763，是1904的两倍吗？
还是你觉得，BS4的 3763X4=15052的图片总量，比1904*8=15232的多？？？
你要开BS 16，这个差距会更大！

基本算数，都不会算，好意说自己学编程的？

星期六中午

wtxx8888 发表于 2024-10-15 18:11
就你自己有电脑？
别人看不到，自己的电脑显示？
信自己的电脑显示，还是信别人的截图？

都是两次存盘间差，都是差不多的总量，bs8要少迭代3763-1904=1859
不是说明大bs要慢吗
你看你写的大bs会略快，你让我理解的好辛苦？

wtxx8888

星期六中午 发表于 2024-10-15 18:28
都是两次存盘间差，都是差不多的总量，bs8要少迭代3763-1904=1859
不是说明大bs要慢吗
你看你写的大bs会 ...

你是不是傻了?
BS 8的1904，是等于BS4 的3808，你BS 4，够数了吗？只有区区的3763，少了45.
就你这逻辑性，我特么都乐了。。。

星期六中午

wtxx8888 发表于 2024-10-15 18:31
你是不是傻了?
BS 8的1904，是等于BS4 的3808，你BS 4，够数了吗？只有区区的3763，少了45.
就你这逻辑性 ...

这个迭代数是batch还是epoch？
看来是batch，那确实是大bs会略快。