【精益求精】关于loss值导出的追加思路更新

奇奇怪怪的ID

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

我有一个30万的人脸数据集，现在用于训练底模，迭代已经970万+了，此为背景


虽说30万素材对大多人来说已经是巨量了，同时也意味着训练时间也比别人多！很多很多！时间


loss值的下降感人，所以我动了挑选高LOSS素材的想法，但是原版不具备这个条件，怎么办呢？


人眼识别让我痛不欲生，算法排序却又短小无力


嘿嘿，还好我有一丢丢python基础，于是诞生了将训练时迭代的素材文件名及计算的loss损失值导出的想法


中间巴拉巴拉发生了好多让我头痛的事，但是！！！

小爷我成了




因为损失值单次迭代并不一定准确，我这里设计的是记录单个素材的每一次损失值，最后计算平均损失

恩，后面还要改改，每次迭代时都会重写整个CSV文件并不是一个高效的方法，我决定用简单的字典来储存

后续将配合的自动提取素材（根据loss挑选素材出来）写出来就OK咯


最后我希望能像ice一样显示在预览窗口上，有时间再琢磨琢磨

2024/8/28 追加：  

因为我根据导出结果挑选了大于0.5以上的素材，人眼识别了某些看着很好的素材，

无论是特征点还是遮罩又或是光影都没问题，但是结果就是这么大

我打lol的时候突然想到，训练时翻转和放大、旋转都有可能影响到loss值的准确性，

恩，不是loss值的准确性，而是设置项可能会导致训练不到位的“角度”出现人为误判

看样子得记录一下样本是处于什么状态下计算出的结果，真麻烦！


2024/8/28 又追加：

并没有什么卵用，太麻烦了，我放弃了修改


因为我是src-src对练，也就是双倍的计算，我取最小损失得了，后面显示在预览图再给大家分享

游客，如果您要查看本帖隐藏内容请回复

wtxx8888

仍MVE分支里，挑指定值以上的，不就得了？
DFL-MVE 神农汉化版多功能启动UI【01.22 更新】增加Bat数据修改-【DFL】软件下载-deepfacelab中文网 - Powered by Discuz! (dfldata.cc)

奇奇怪怪的ID

wtxx8888 发表于 2024-8-27 18:48
仍MVE分支里，挑指定值以上的，不就得了？
DFL-MVE 神农汉化版多功能启动UI【01.22 更新】增加Bat数据修改- ...

我用不了，这个我买过，还下了那个神农

wtxx8888

奇奇怪怪的ID 发表于 2024-8-27 18:50
我用不了，这个我买过，还下了那个神农

新神农用不了，这GUI是神农最初版用的

奇奇怪怪的ID

wtxx8888 发表于 2024-8-27 18:51
新神农用不了，这GUI是神农最初版用的

没事反正是做出来了，自己怎么改都行，主要是我看有人在那个帖子下说单次计算的loss不准，我改成了训练时记录同一样本的每次损失

wtxx8888

奇奇怪怪的ID 发表于 2024-8-27 18:54
没事反正是做出来了，自己怎么改都行，主要是我看有人在那个帖子下说单次计算的loss不准，我改成了训练时 ...

偏差不会太大，初版神农没改多少东西，这GUI，估计可以挂在纯MVE分支版下用。

奇奇怪怪的ID

wtxx8888 发表于 2024-8-27 18:56
偏差不会太大，初版神农没改多少东西，这GUI，估计可以挂在纯MVE分支版下用。 ...

哈哈哈哈，结果不太差就好，后面改成ice那种显示在预览界面的

wtxx8888

奇奇怪怪的ID 发表于 2024-8-27 18:58
哈哈哈哈，结果不太差就好，后面改成ice那种显示在预览界面的

那加油吧~~

pasanonic

真羡慕你们会编程的

dhh520

这个不是早都搞出来了吗？