重复训练高loss样本这个功能还是有用的

wtxx8888

pasanonic 发表于 2025-1-6 21:54
我改成 10   10  了  
15  10炸过两次

我测试，发现有问题了。
改了算法，现在是全自动，没有任何弊端。

pasanonic

wtxx8888 发表于 2025-1-6 22:35
我测试，发现有问题了。
改了算法，现在是全自动，没有任何弊端。

6666

dfl9999

pasanonic 发表于 2025-1-6 21:54
我改成 10   10  了  
15  10炸过两次

有些是点到了学的慢，用高loss样本重训捞出来重练还是有用的，不过不能一直用，用一段时间要关了正常训练，然后再开，不然的话容易炸loss，丹本身没炸，loss不计数了，显示nan

dfl9999

wtxx8888 发表于 2025-1-6 22:29
改算法了。这是现在的更新日志。

完全重写，高LOSS周期性训练，更名为retraining_samples的直译--重复训练 ...

好，good job

wtxx8888

dfl9999 发表于 2025-1-6 22:39
好，good job

一个样本，重复多次，就会出问题。
现在是最高LOSS排序，训练一次，剔除用过的数据，再次排序，提取剩余数据中的，最高LOSS，然后再剔除，再排序，直到提出来的样本，低于LOSS中线就会停。
不是一个样本连续训练多次，是对高于平均值的样本训练，平均值是中线，中线以下的低LOSS样本，是不会被训练的。

dfl9999

wtxx8888 发表于 2025-1-6 22:44
一个样本，重复多次，就会出问题。
现在是最高LOSS排序，训练一次，剔除用过的数据，再次排序，提取剩余数 ...

太好了

wtxx8888

dfl9999 发表于 2025-1-6 23:03
太好了

代码太长了，我就写下流程吧。

01，记录当前的时间，生成下一组样本的数据（正常训练）
02，使用SRC和DST样本，进行训练并计算LOSS
03，判定真脸及GAN，并于结尾，记录运算耗时（正常训练）
04，判定，如果启用了重训练样本选项
05，开始记录样本，刷新记录次数的计数器，并次次判定正常训练的结果，是否超过LOSS平均值。
06，当计数器大于等于4，同时当次SRC或DST其中之一，LOSS高于平均值时激活。  如计数器大于4后，始终没有高LOSS的样本，将于20次时强制激活，并清空数据（一直记录，会炸内存）
07， 如果计数器减3大于5（重复训练次数为5），将强制限制重复次数为 五次。
08，对样本进行排序，选择LOSS最高一批的样本，用于重新训练
09，判定提取样本的LOSS值，是否小于平均值，是，会终止运算，否，则重复训练。
10，重复训练，完毕后，从样本列表，删除刚才提取的样本。
11，返回到08继续执行，直至被09截停为止（或5次运算10的限量，耗尽）。。。
12，结束时，会清空样本记录，并重置记录次数的计数器为零。。。

天光脑震荡

dfl9999 发表于 2025-1-6 21:21
110万的极限角度都不带糊的

过多素材影响收敛速度，素材选择宁缺毋滥

Terea

dfl9999 发表于 2025-1-6 22:19
底丹我发了，试试牛不牛逼

好啊～等我忙完～最近没空

onecrow

wtxx8888 发表于 2025-1-6 22:35
我测试，发现有问题了。
改了算法，现在是全自动，没有任何弊端。

是哪个版本带这个改过了的算法？