【水帖】2024/9/14随记

奇奇怪怪的ID

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

改动周期性训练后产生的一个诡异曲线趋势图


原来还小心翼翼的怕模型出问题，突然抽风改了一手狠的




2024/9/14 5:46  突发奇想，将模型从一个轮次一个轮次地训练改为判断批次样本loss是否≥0.031，符合条件的将同一批次样本重复训练到loss≤0.03再训练下一个批次，是否可行，恩...瞎几把想想

wtxx8888

次数太多，卡的太久，模型很可能，直接就炸了

奇奇怪怪的ID

wtxx8888 发表于 2024-9-14 02:28
次数太多，卡的太久，模型很可能，直接就炸了

不怕 ，本就是试验，而且高loss的50次循环的数据都会添加到模型里的，包括相应的迭代数

炸了就再开备份换个法子继续折腾   

对了，前几天老有人跟我提，他们觉得周期训练是降低了迭代速度，但他们并不清楚周期训练的那一次迭代时间其实是2次的时间叠加，我想了想干脆把迭代数给它加回去

lknet

应该是正常的，这个向下的波形应该是单个素材n次重训时loss值由高到低的一个过程。因为你把n次重训分开算到n次迭代里面显示出来了。

奇奇怪怪的ID

lknet 发表于 2024-9-14 05:01
应该是正常的，这个向下的波形应该是单个素材n次重训时loss值由高到低的一个过程。因为你把n次重训分开算到 ...

是正常的，因为我每20次迭代挑选了loss最高的一批样本重复训练了50次，所以曲线才会出现直线下降

fghfdg

奇奇怪怪的ID 发表于 2024-9-14 02:40
不怕 ，本就是试验，而且高loss的50次循环的数据都会添加到模型里的，包括相应的迭代数

炸了就再开备份换 ...

我试过把一些大角度拿出来作同一批次样本重复训练，次数太多很容易出现一些诡异的色斑

奇奇怪怪的ID

fghfdg 发表于 2024-9-14 15:55
我试过把一些大角度拿出来作同一批次样本重复训练，次数太多很容易出现一些诡异的色斑 ...

不可以随便大幅的改变src和dst的样本数量，至于什么原因我也说不明白，只是我曾经试验过

wtxx8888

挂机真无聊。。。
看了下代码，发现周期训练，是不训练真脸及GAN的。。。

奇奇怪怪的ID

wtxx8888 发表于 2024-9-14 23:02
挂机真无聊。。。
看了下代码，发现周期训练，是不训练真脸及GAN的。。。
...

我没注意过，不过可以试一下改动啊

我挂机挂了两个月了，素材也从29万8删到20万7了，再挂一个月收做底丹，我并不打算开真脸和gan，学习率哪些也不想开，看看硬扭能不能扭到参数的极致

wtxx8888

奇奇怪怪的ID 发表于 2024-9-15 00:41
我没注意过，不过可以试一下改动啊

我挂机挂了两个月了，素材也从29万8删到20万7了，再挂一个月收做底丹 ...

没开嘴眼优先吧？看你的预览，都这个LOSS了，细节也不多。