【deepfacelab专用】src图片切脸后批量人脸去重脚本软件

刺猬粑粑 · 发表于 2022-10-8 23:20:38

星级打分

1
2
3
4
5

平均分:5 参与人数:1 我的评分:未评

本帖最后由刺猬粑粑于 2022-10-27 22:07 编辑

自己写的图片去重脚本，主要适用于切完src脸之后，发现太多重复图片时，用来去重，具体看图吧

[ ============================ ]
[  图片去重工具v.1.0.1 by 刺猬粑粑 ]
[ dfldata.xyz【论坛专用】 ]
   _  __ _    _    _
      | |/ _| | | |    | |
   __| | |_| | __| | __ _| |_ __ _  __  ___ _ ____
   / _` |  _| |/ _` |/ _` | __/ _` | \ \/ / | | |_  /
| (_| | | | | (_| | (_| | || (_| |_ >  <| |_| |/ /
   \__,_|_| |_|\__,_|\__,_|\__\__,_(_)_/\_\\__, /___|
                                          __/ |
                                          |___/
[ ============================ ]
[ 本工具作用：该工具主要用于src图片去重 ]
[ 切src头像图片后，因为每帧可能会切好几张，导致重复图片过多，过多重复图片会给训练增加负担 ]
[ 注意事项：只适用于处理src重复图片的筛选移除 ]
[ ============================ ]
[ 使用说明： ]
[ 1.输入人脸图片的路径，如D:/人脸图片路径  ]
[ 2.选择模式，1 懒散模式(推荐)，2 精细模式。实际算法不同相差不大]
[ 3.比如a,b图片90%一样，但是可能有些细节，比如眼神看的方向是不一样的  ]
[ 精细模式会认为这是两张不同图片选择保留，而懒散模式会认为这两张图片相同，会选择删除后一张图片  ]
[ 4.被移除的图片会保存在上面输入的目录下的delete文件夹中。 ]
[ 5.源码开放，报毒的话那就是杀毒软件有病！！！ ]
[ ============================ ]

注意：解压得到脚本文件夹后，需要放到DeepFaceLab下的_internal文件夹中，1点击安装依赖的包 2执行去重的那个bat。

这里用到两种图片相似度的去重算法，理论上模式二速度快更精确。但是实际使用中我发现其实两种都差不多

不保证极致精准但是能绝对帮你省下不少眼力和手力劳动且不会误删图片，特别是src素材切脸后有几万张+的时候，会存在大量重复图片

使用教程上图看不明白可以看b站视频

使用建议：只追求人脸图片角度就用1.懒散模式，该模式处理速度更快，追求保留人脸角度和表情、眼神等细节的就用2.精细模式
用过的朋友都说好用

。

使用后问题和建议可以在评论区讨论下自己花几小时手写的赚点灵石
网盘链接(长期有效。论坛网盘插件失效是误报)：https://pan.baidu.com/s/1pERtX8O8YS7p98RF9O3jZA

刺猬粑粑 · 发表于 2022-10-8 23:40:55

滚石发表于 2022-10-8 23:27
去重原理是什么？

我用的是通过图片哈希值计算的方式

目前有几种图片hash值的计算方法：
平均哈希算法 aHash：平均值哈希。速度比较快，但是常常不太精确。
感知哈希算法 pHash：感知哈希。精确度比较高，但是速度方面较差一些。
差异值哈希算法 dHash：差异值哈希。精确度较高，且速度也非常快

这个脚本用到了如上的aHash和dHash

1. 平均哈希算法（aHash）：

该算法是基于比较灰度图每个像素与平均值来实现。

2.差异值哈希算法（dHash）：

相比pHash，dHash的速度要快的多，相比aHash，dHash在效率几乎相同的情况下的效果要更好，它是基于渐变实现的。