【水贴】重训改进尝试.随记

奇奇怪怪的ID

wtxx8888 发表于 2024-9-26 02:41
最近几天，没什么动静了啊？你搞咋样了？

这几天出差在供应商这边审查，没工夫顾上


就是原来的复训，控制台那里完全排除了复训次数的影响，然后动态阈值还是根据正常迭代均值来变动咯

最近没啥动向，有时间把loss导出那边完善就ok了

wtxx8888

奇奇怪怪的ID 发表于 2024-9-26 15:24
这几天出差在供应商这边审查，没工夫顾上

我还等着，看看你代码呢，哈哈

wtxx8888

奇奇怪怪的ID 发表于 2024-9-26 15:24
这几天出差在供应商这边审查，没工夫顾上

今天看了DFL的更新记录，发现重训练，不是MVE分支开创的。
DFL原本就有的，只是最初，是写在预训练那，后来还给取消了。
MVE分支，只是把这个代码，移到了正常的训练里。

奇奇怪怪的ID

wtxx8888 发表于 2024-9-26 05:08
今天看了DFL的更新记录，发现重训练，不是MVE分支开创的。
DFL原本就有的，只是最初，是写在预训练那，后 ...

我不理解为什么删除这个功能，虽然是在预训练，可能是原作者觉得16个样本导致大部分低端显卡会爆显存吧

wtxx8888

奇奇怪怪的ID 发表于 2024-9-26 19:24
我不理解为什么删除这个功能，虽然是在预训练，可能是原作者觉得16个样本导致大部分低端显卡会爆显存吧 ...

不清楚啊，可能没发现它的好处吧。
我原来还以为是MVE创的呢，一看才知道，本来就有.

我把随机样本的放大缩小，改成了0.2。把扭曲改成了12（神农的超级扭曲，还能兼容原版）。
扭曲时，放大缩小本来就是0.5，够高了，这个没动。

应该属于，用时间去换相似度，和泛化适性。DF可能提升不多，LIAE应该会明显点。

奇奇怪怪的ID

wtxx8888 发表于 2024-9-26 08:48
不清楚啊，可能没发现它的好处吧。
我原来还以为是MVE创的呢，一看才知道，本来就有.

我刚借供应商的电脑控制了下家里的电脑，发现一个点，就是dfl原版纯扭曲的极限是0.025-0.030左右，如果素材达到这个值还继续训练的话，只能是炸丹了