【水贴】重训改进尝试.随记

奇奇怪怪的ID

wtxx8888 发表于 2024-9-22 23:48
你这是打算，设计的更智能点呗？
我这几天的曲线，上限快速，稳定，持续的下降中。。。
由于上限占用 ...

有这个意思，我素材量太大了

奇奇怪怪的ID

hzy 发表于 2024-9-22 13:55
感谢为爱发电的两位大佬分享，有你们df会越来越强大

谢谢

wtxx8888

奇奇怪怪的ID 发表于 2024-9-23 00:27
有这个意思，我素材量太大了

LOSS高的，都是难练的。
我测试过，一张COSPLAY的全图，BS 16 单独迭代这一张，需要一万多，接近两万次，才能到0.3。
而高LOSS，占走大量迭代数后，势必会让低的，也更难降。
均摊到低的那面，只有以前的一半（20权20重复），或者6成的迭代数（30权20重复）。

奇奇怪怪的ID

wtxx8888 发表于 2024-9-23 01:20
LOSS高的，都是难练的。
我测试过，一张COSPLAY的全图，BS 16 单独迭代这一张，需要一万多，接近两万次， ...

迭代训练有  21（旋转）* 21（缩放）* 21（水平平移）* 21（垂直平移）* 2（翻转）= 194481种唯一性组合  

我们的复训只是复训一批（bs）数量的素材其中一种确定的组合

wtxx8888

奇奇怪怪的ID 发表于 2024-9-23 02:00
一张素材有  21（旋转）* 21（缩放）* 21（水平平移）* 21（垂直平移）* 2（翻转）= 194481种唯一性组合   ...

反正总的迭代量就那么多，哎，难哦。
我现在改为30权，20重复，正常占六成。

奇奇怪怪的ID

wtxx8888 发表于 2024-9-23 02:03
反正总的迭代量就那么多，哎，难哦。
我现在改为30权，20重复，正常占六成。 ...

我去。你居然还没睡

奇奇怪怪的ID

wtxx8888 发表于 2024-9-23 02:03
反正总的迭代量就那么多，哎，难哦。
我现在改为30权，20重复，正常占六成。 ...

我现在的想法就是更平均一点，尽可能的均衡下降保持样本学习的多样性同时控制台输出更接近模型真实状态，动态阈值=上一保存阶段dst和src的均值-0.005，复训次数不再作为唯一性的复训条件，只要任意迭代dst_loss或src_loss高于动态阈值则进入复训，复训次数最高不超过用户自定义次数，最低只要dst和src都低于动态阈值则恢复正训

wtxx8888

奇奇怪怪的ID 发表于 2024-9-23 02:14
我现在的想法就是更平均一点，尽可能的均衡下降保持样本学习的多样性同时控制台输出更接近模型真实状态， ...

准备睡了，那个平均值，其实也不准的。
比如我现在，最低0.12，最高有1.6，平均0.88，这差距

Dujy

wtxx8888 发表于 2024-9-23 01:20
LOSS高的，都是难练的。
我测试过，一张COSPLAY的全图，BS 16 单独迭代这一张，需要一万多，接近两万次， ...

cosplay的图，一练一个不吱声