Batch_size可以从小到大训练吗？

aixx

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

以底丹来练，从Batch_size：8加快训练次数，更快的看成丹效果。练10万次后，把值Batch_size：16，提高练丹质量再接着练
这样可行吗

若苗瞬

确实，有说法是Random warp阶段小BS，后面能开多大就多大。

我估计小BS随机次数更多吧。
但正常训练是大BS效率更高。

come3002

建议起步 bs4.练的快，loss降的快。随后bs 增加，能增加就增加 利于出细节。
但是这是相对的。
好的素材下，bs4 甚至bs2 ，慢慢跑，一样能炼出很好脸部细节，嘴唇纹理细节，下牙齿细节。

我就遇到过一个实例。
左1  左2  两个 李一桐专丹 都是坛友用我的 李一桐素材炼的丹。
左1 和原图对比


左1  李一桐 最后数据是   400w 320liae udt  512  64 64 24  bs8 gan 4090 24G  ice版炼制，
左2   李一桐 最后数据是  200w 256df ud      320 88 66 22 bs2 gan 3060 6g    原版炼制
放大 细节对比



（一点细节，即便是正面的随便的一张图，左边的320liae 是有一些虚影的。如果是1080p影响不大，
如果是4k樱花国，随着画质提升，是会影响感观的。）

结果：320 512liae （4090 24G显卡 bs8 icE），细节上跟 256 320dfud （6g显卡 3060 bs4，开gan 只能开到bs2）接近。
6g 3060跑的dfud 256的丹 脸部的纹理细节嘴唇纹理细节跟  4090跑 320liae 的丹细节一致。
下牙齿320liae bs8 几乎是模糊一团， 居然是 256的 dfud bs2 下牙齿 更优秀。你说神奇不神奇。


左1的 李一桐专丹
https://dfldata.cc/forum.php?mod=viewthread&tid=15615&highlight=%E6%9D%8E%E4%B8%80%E6%A1%90

结论：素材好，小显存 慢慢跑。（最后bs2 gan ）一样能出优秀 脸部细节，嘴唇纹理细节，牙齿细节等。

aixx

come3002 发表于 2023-9-12 10:09
建议起步 bs4.练的快，loss降的快。随后bs 增加，能增加就增加 利于出细节。
但是这是相对的。
好的素材下 ...

320wf 384liae-udt 16bs（3090 24G）,只能每秒一次，跑一天才10万次不到，好慢呀

come3002

aixx 发表于 2023-9-12 10:36
320wf 384liae-udt 16bs（3090 24G）,只能每秒一次，跑一天才10万次不到，好慢呀

人家 3060 256 跑了 200w 至少在下牙齿方面，就赶上了320liae 4090 400w效果。你说神奇不神奇。
炼的还超级快。
哪怕是这个 3060 坛友就是 用 256 练练手了。用他的方法，换个 分辨率啊，参数高的大丹。将来效果反超 320liae，也不是不可能的。

所以炼丹是个技术活。多下载论坛优秀专丹。凝结炼丹者的心血。
自己先小模型炼丹，炼练就跟优秀专丹对比学习。比不过不丢人。慢慢技术就上来了。随时可以换更大的模型更好的参数

bg2kcg

我感觉可以

WaveBedo

come3002 发表于 2023-9-12 10:09
建议起步 bs4.练的快，loss降的快。随后bs 增加，能增加就增加 利于出细节。
但是这是相对的。
好的素材下 ...

高手，你好啊
右边的gan用的是多少？

关闭扭曲之后，脸的大小是会随着dst缩放的，
但用大的bs，似乎不利于缩放，也就是贴合得不够好，
我关闭扭曲之后，一直用bs12，结果缩放停止了，部分脸一直比dst小，眉毛一直对不齐
我改成bs4之后，缩放才又起作用了

所以，是不是大部分的情况下，用bs4可能会更好