【FFHQ纯女性数据集高LOSS文件筛选删除】

jinyuan37

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

FFHQ纯女性数据集原帖地址：
https://dfldata.cc/forum.php?mod=viewthread&tid=14141

自己最近从预训练从零开始训练，过程中遇到许多问题，也学习到了不少。
FFHQ训练集是非常优秀的预训练数据集，不过其中有许多素材没有经过筛选不一定适合训练使用。
我用ME版本的LOSS排序功能，配合自闭2.0神丹对女性素材进行了LOSS排序。配合群友提供的手动精选素材目录，最终剩下25000张左右（这里不提供精选目录）
使用方法：
在没有修改图片名称的情况下，只需要在图片文件夹里新建一个名为“111”的文件夹，然后运行我上传的BAT文件就可以将3000+张高LOSS图片移动到111文件夹。
移动后的素材可以自己再挑选一下，我个人是宁杀错不放过，有些素材直接看着不错，实际上遮罩之类的可能有问题。

取消分享了，意义不大。
LOSS导出，其实就算是同一张图片在每一次迭代训练时的LOSS也是波动的，有时候波动还挺大。导出的只代表本次LOSS并不完全准确。最好的方法还是用ICE版本的LOSS优化器进行训练。

come3002

感谢分享。一直在等这个资源。
是02_1-FFHQ纯女性女性 WF1024 那个文件包 里新建111 吗？

deepfaceuser001

我擦 数据包只有12K 一个图片也没有啊

jinyuan37

come3002 发表于 2023-11-7 23:00
感谢分享。一直在等这个资源。
是02_1-FFHQ纯女性女性 WF1024 那个文件包 里新建111 吗？ ...

是的，然后运行解压后的bat，不过只包含me版本下对应自闭模型初始训练认为LOSS排序高的。
群友分享的手工精选是对方的分享，因此没有在此分享。
其实有很多图非常影响训练效率，真正来说有2~3W张足够了。

come3002

jinyuan37 发表于 2023-11-8 08:25
是的，然后运行解压后的bat，不过只包含me版本下对应自闭模型初始训练认为LOSS排序高的。
群友分享的手工 ...

运行之后 确实是 移除了3400张，但是好像剩余了 34400张。跟你的剩余数量不对。

jinyuan37

come3002 发表于 2023-11-8 09:37
运行之后 确实是 移除了3400张，但是好像剩余了 34400张。跟你的剩余数量不对。

我是用群友精选后的30000张进行排序的，所以和你的有些区别，群友的劳动成果不方便在这里公开。

AI炼丹

不加男性的 会不会泛化不足呢

jinyuan37

AI炼丹 发表于 2023-11-12 12:24
不加男性的 会不会泛化不足呢

不换男的不需要，有那时间不如换同等数量的女性素材来练。

AI炼丹

jinyuan37 发表于 2023-11-8 11:40
我是用群友精选后的30000张进行排序的，所以和你的有些区别，群友的劳动成果不方便在这里公开。 ...

是ICE群的吗

jinyuan37

AI炼丹 发表于 2023-12-16 16:03
是ICE群的吗

嗯。