重复训练高loss样本这个功能还是有用的

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

之前一个底丹素材大概是6万张，批量开到24正常练了100万迭代，平均loss降到0.16开始反弹，预览窗口都是低loss、高清晰的图片，开了重复训练高loss样本，预览窗口甚至有0.5loss的低清晰图片，说明批量不管开到多少，都会有部分图片缺乏训练，这部分图片没办法通过开嘴眼和角度均化揪出来，因为很多就是正面图片，软件算法原因导致这部分图片得不到均匀训练。

不过重复训练高loss样本也要适度，容易炸loss计数器……炸了如果没备份丹就没了。

wtxx8888

dfl9999 发表于 2025-1-6 23:03
太好了

代码太长了，我就写下流程吧。

01，记录当前的时间，生成下一组样本的数据（正常训练）
02，使用SRC和DST样本，进行训练并计算LOSS
03，判定真脸及GAN，并于结尾，记录运算耗时（正常训练）
04，判定，如果启用了重训练样本选项
05，开始记录样本，刷新记录次数的计数器，并次次判定正常训练的结果，是否超过LOSS平均值。
06，当计数器大于等于4，同时当次SRC或DST其中之一，LOSS高于平均值时激活。  如计数器大于4后，始终没有高LOSS的样本，将于20次时强制激活，并清空数据（一直记录，会炸内存）
07， 如果计数器减3大于5（重复训练次数为5），将强制限制重复次数为 五次。
08，对样本进行排序，选择LOSS最高一批的样本，用于重新训练
09，判定提取样本的LOSS值，是否小于平均值，是，会终止运算，否，则重复训练。
10，重复训练，完毕后，从样本列表，删除刚才提取的样本。
11，返回到08继续执行，直至被09截停为止（或5次运算10的限量，耗尽）。。。
12，结束时，会清空样本记录，并重置记录次数的计数器为零。。。

pasanonic

dfl9999 发表于 2025-1-8 19:31
问题这玩意直接决定整体上限，80的怎么练都差一口气，128的上来直接秒，我还以为可以通过迭代解决，4090 ...

iperov  的标准参数是为了大家都能玩    而且是好几年前的  
你当然可以设置大 但是如果分享别人就跑不动   素材质量也是弊病  你跑的再牛逼 ,发出来,别人用垃圾素材跑,还不是骂骂咧咧

dfl9999

wtxx8888 发表于 2025-1-6 22:44
一个样本，重复多次，就会出问题。
现在是最高LOSS排序，训练一次，剔除用过的数据，再次排序，提取剩余数 ...

太好了

wtxx8888

改算法了。这是现在的更新日志。

完全重写，高LOSS周期性训练，更名为retraining_samples的直译--重复训练。
模型添加，SRC与DST的LOSS平均值记录。（模型能力展示的更具体，也是 重复训练 的激活阈值）
**重复训练，现在是全自动模式，4到20次的间隔，动态启动.（LOSS阈值激活）
**动态训练样本（LOSS最高的样本，递减提取，低于阈值自动停止），动态样本意味着，不是训练同一个样本，彻底避免各种弊端。
**动态间隔，加动态训练的组合，将效率发挥至最优。（当提示是瞬闪，代表样本全部低于训练阈值，不需要浪费算力，再次训练。）
**重复训练，最好搭配小BS，因为是记录的形式，意味着小BS的高覆盖度（推荐BS 4），会更具优势.
**重复训练，由于没有生成样本的耗时，会提升存盘间隔内的迭代总数。
**被重复训练的样本，相当于一次BS翻倍，两次BS 4只生成一次样本，与BS 8的单次耗时一致。

天光脑震荡

底丹素材我觉得两三万就够了

dfl9999

天光脑震荡 发表于 2025-1-6 21:18
底丹素材我觉得两三万就够了

差距很大，20万跟110万的我试过

dfl9999

天光脑震荡 发表于 2025-1-6 21:18
底丹素材我觉得两三万就够了

110万的极限角度都不带糊的

Terea

dfl9999 发表于 2025-1-6 21:21
110万的极限角度都不带糊的

极限角度这个就真的是秘诀了～

dfl9999

Terea 发表于 2025-1-6 21:49
极限角度这个就真的是秘诀了～

tell me plz

Terea

dfl9999 发表于 2025-1-6 21:52
tell me plz

我还想问你呢...这是一个赞叹句式啊.....

pasanonic

我改成 10   10  了  
15  10炸过两次

我感觉并不是每张SRC图都会去对比学,因为还涉及到旋转之类的,打个比方,mve里面的格子内有10张图,可能只会有几张会被点到

如果有个非常精准的去重软件或者读取遮罩图去重的话,效率会极高 ,官方说的6000左右的图是可以达到的

dfl9999

Terea 发表于 2025-1-6 21:53
我还想问你呢...这是一个赞叹句式啊.....

底丹我发了，试试牛不牛逼