deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1205|回复: 14

去重大师疯狗版 (比市面上软件快几百倍) 及私人笔记

[复制链接]

5

主题

17

帖子

388

积分

初级丹师

Rank: 3Rank: 3

积分
388
 楼主| 发表于 2024-8-2 01:25:45 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:1  我的评分:未评
本帖最后由 change1996 于 2024-8-2 06:57 编辑

今天心情很好, 之前骗我的那个房东退我钱了,
之所以会写这软件是因为我使用市面上各种去重软件都觉得慢的离谱 真的已经2024年ˊ了吗?
所以我来分享个前几天无聊随手写的软件, 順便寫個筆記



常用人脸识别相关的方式一般有三种


一. 感知哈希用于一般图片去重


感知哈希算法是一种图像处理技术,它可以将一张图片转换成一个固定长度的哈希值,这个哈希值可以用于判断两张图片是否相似
直接上图,应该能马上理解


hash.jpg

跟其他两种方法的区别, 很简单, 你用眼睛看两张图, 第一眼看就觉得一模一样的话,如果是感知哈希來看也是判定相似
  • 高哈希值:表示图像之间的相似性越强,意味着两个图像在整体结构上的相似度更高,会保留更多相似的素材。
  • 低哈希值:表示图像之间的相似性较低,意味着两个图像在整体结构上的差异较大。


这个方法也是今天我分享的这个脚本用的检测方式(混合的脚本现在还在搞) ,ˋ这个对我这个小白来说很够用了,一般切图后用的就是这个方ˋ法

脚本使用方法很简单,放到存放图片的目录,

安裝好依賴
pip install opencv-python-headless numpy

直接输入
python remove.py
捕获.PNG
然后会提示你选择多少哈希值(指定数字即可)
我自己是选8(8*8) 对我来说很够用了,值越大 ,检测的就越精确, 但太高去重效果不好 ,反之亦然
接下来就是等他跑完



注意事项:

脚本运行完成后会删除当前目录中所有重复的图片和所有文件,并且会自删,请确保重要文件已备份。
还有在你不确定想要的值时, 你先把图复制了创个目录自己做测试, 比对好再去重
这版真的比市面上类似软件快很多很多, 你值得拥有



---------------------只想要单纯的简单去重的朋友可以直接拉到最下了, 下面是人脸辨识相关的私人筆記, 以后无聊想搞个全部自动化的,一劳永逸

  二. 欧氏距离(适合用于高精度的去重)

用于检测具体的细节变化,适合用于捕捉具体的细节变化,适用于需要高敏感度检测的应用(能分辨人眼看不出來的極細微差距)


一般來說是跟余弦相似度 来搭配使用来做人脸辨识,当然你也可以拿来去重.....可能一个都去不了
总结来说欧氏距离对任何细微的变化都很敏感,它看什么都觉得不一样,不放过任何细节  ,我个人理解为感知哈希的变态版


  • 高欧氏距离值:表示图像之间的差异较大,能够更精确地检测出不相似的细节
  • 低欧氏距离值:表示图像之间的差异较小,图像相似度较高

  三. 余弦相似度(一般用于人脸(脸型)辨识)


简单来说它只在乎照片主体的形状(脸型判断)用于人脸辨识


主要关注图像内容主體的整体结构,特征,对光线,对比度不敏感 ,用白话说就是只关注照片内主体(人物)的整体形状(例如臉型)
至于感知哈希和余弦相似度的区别
直接上图举例比较快


cat_compare.png

在上面的两张图像中,我们用人眼可以判斷出第一张图和第二张图區別在於图案, 顏色
所以如果以感知哈希来判断也跟人眼一样 : 两者不相似
但如果是使用余弦相似度 : 会判断两者相似,(他只在乎图内的人物的形状(臉型),其他它不管的)



FACE.png



上图很明显,余弦相似度会判断两者相同, 因为整体结构(脸型)相同, 则感知哈希反之
因为余弦相似度的特点就是著重在图像内容的整体结构和特征,即使ˊ主体表情不同,余弦相似度依然能检测到它们的相似性。
因为余弦相似度通过比较高维特征向量之间的角度来判断相似性,因此能够忽略图案的变化而关注整体的形状和结构。

  • 高余弦相似度值:意味着图像的整体结构和内容非常相似,尽管存在光线、表情或角度的变化。
  • 低余弦相似度值:意味着图像的整体结构和内容有显着差异,检测到的相似性较低。


不严谨但好懂的例子:

假设一般人眼的视力为1.0,感知哈希与人眼差不多  ,余弦相似度大概是闪光+近视, 而欧氏距离就是显微镜的程度

视力大小:

欧氏距离 > 感哈希 = 人眼 > 余弦相似度


还是不懂也没关系,之前搞实验的弄的比对器,

通过网盘分享的文件:比對器.rar
链接: https://pan.baidu.com/s/1SZqvMNfk6g6jbghz0J76Kg 提取码: t8gc



玩玩看就知道了, 使用方法很简单, 执行后选两个ˊ图, 结果就会输出在命令行上了
先安装好依赖,


pip install opencv-python-headless numpy imagehash scikit-learn scipy pillow rich pandas

捕获.PNG


直接执行, 输出结果如上圖




还有之前的批量切图器我也更新了, 我觉得生成资料夹挺麻烦的还得一个一个拖移, 这个我也改了

通过网盘分享的文件:暴力切圖3.0.rar
链接: https://pan.baidu.com/s/1xYsPiuQ8IQfjlBTloKia5Q 提取码: upu2



最近可能暂时不搞这种乱七八糟的了, 到现在连丹都没练过一次


反正上面让你们白嫖这么多工具了, 这个我就设置5灵石了, 反正方向也有了基本也可以自己搞出来一个,
如果有bug直接留言我会找时间更新, 最近很闲, 可能几个小时就搞定了
----------北京時間2024/8/2 6:30更

為了打這篇文章我放了一個女生朋友的鴿子, 難受了, 难受了我就只能来写一些杂七杂八的东西

统整下没提到的方法和新库

其他方法和庫:

  • 结构相似性 (SSIM)

            考虑了亮度、对比度和结构信息,综合评估图像相似性。但计算复杂度高


  • 特征点匹配 (Feature Matching)

          通过比较图像中的关键点和描述子,能够精确地评估图像相似性。但对图像变换敏感


  • 深度学习方法 (Deep Learning)

        就是一種ai 也準, 就是需要较高的计算资源。




  • dlib库 (老牌的python库 )
          HOG + SVM, 深度卷积神经网络, 68 点面部关键点模型,128 维特征向量 , 欧氏距离
         https://dfldata.cc/forum.php?mod=viewthread&tid=546&extra=&page=1
         大佬的经典老工具用的就是dlib库+欧氏距离

新興的人脸识别库

  • LibreFace
  • Face.evoLVe
  • DeepFace
  • OpenCV-Face-Recognition


牛人們的库我不敢也没资格评价, 都挺牛的 , 通常这些库最大的缺点(其实是我的缺点) 是自己电脑的运算资源不够

不搞這些了, 我去搞我的src了




评分

参与人数 2贡献 +2 收起 理由
xylego + 1 十分给力!讲解详细!
gotoplay + 1 十分给力!

查看全部评分

<strong>有時候我希望我從來沒來過這裡, 如果我有幸遇到當年執意出去的少年我會把它腿打斷
回复

使用道具 举报

5

主题

17

帖子

388

积分

初级丹师

Rank: 3Rank: 3

积分
388
 楼主| 发表于 2024-8-2 20:13:35 | 显示全部楼层
WaveBedo 发表于 2024-8-2 19:53
这个很容易找出来的,你把自己切的src或者dst,用VisiPics扫一下
src或者dst,要重复比较多的那种,最好 ...

大哥,我上面有说,这个哈希跟人眼差不多, 你看得出来不同,它也看得出来
这个是我的素材, 你看这样筛会太重复吗



捕获.PNG
                             篩之前

我哈希值設置是8


捕获2.PNG
                          筛之后
<strong>有時候我希望我從來沒來過這裡, 如果我有幸遇到當年執意出去的少年我會把它腿打斷
回复 支持 1 反对 0

使用道具 举报

41

主题

741

帖子

5287

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5287

万事如意节日勋章开心娱乐节日勋章

发表于 2024-8-2 19:53:52 | 显示全部楼层
本帖最后由 WaveBedo 于 2024-8-2 19:58 编辑
change1996 发表于 2024-8-2 14:31
我是说你被判定错误的src素材

手心输入法截图20240802194214640.jpg 手心输入法截图20240802193754025.jpg
这个很容易找出来的,你把自己切的src或者dst,用VisiPics扫一下
src或者dst,要重复比较多的那种,最好是连续动作的
包含张嘴、闭嘴、睁眼、闭眼等动作

扫过之后,它就会将一些微微张嘴的、闭嘴的、稍微睁眼、完全睁眼、闭眼等的归类为同样的图片,
你只要找那种长长,几十张图片的一组,然后对比一下每张图片是不是有差异,
一组不行的话,看多几组,很容易找得出来的,一般都会有的




回复 支持 1 反对 0

使用道具 举报

8

主题

147

帖子

1612

积分

初级丹圣

Rank: 8Rank: 8

积分
1612

节日欢乐之星勋章

发表于 2024-8-2 02:11:33 | 显示全部楼层
感觉很厉害的样子,我来试试。
回复 支持 反对

使用道具 举报

41

主题

741

帖子

5287

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5287

万事如意节日勋章开心娱乐节日勋章

发表于 2024-8-2 02:42:21 | 显示全部楼层
我在用VisiPics,速度很快,
但它会删掉一部分不一样的图片,
例如,微微张嘴它有时候会认为跟闭嘴是一样的,
眼睛也是一样,微微转脸也是,
也就是它会删掉很多微表情

不知道你这个会不会也有这种情况
楼主,有时间的话,可以对比一下
回复 支持 反对

使用道具 举报

5

主题

17

帖子

388

积分

初级丹师

Rank: 3Rank: 3

积分
388
 楼主| 发表于 2024-8-2 06:16:24 | 显示全部楼层
本帖最后由 change1996 于 2024-8-2 06:22 编辑
WaveBedo 发表于 2024-8-2 02:42
我在用VisiPics,速度很快,
但它会删掉一部分不一样的图片,
例如,微微张嘴它有时候会认为跟闭嘴是一样的 ...

我小白,有一次东搞搞,西搞搞,搞了几万多张图,总共140GB,本来其他工具要好几个小时,我好无奈才搞了这个出来,十多分钟搞定

你可以发来我给你试试, 这个脚本很单纯就用了哈希感知這一個方法, 建议你到时候选一组出来 ,搞个新目录, 拿不同参数去试, 试到你要的就行了, 我个人都是自己用到哪, 代码才写到哪, 这个DFL我才玩了一两个礼拜, 很多东西不知道或是没经验, 你如果想要什么功能也可以提出来, 也顺便给我些灵感, 目前我的強迫症 到現在連丹都還沒開始煉
<strong>有時候我希望我從來沒來過這裡, 如果我有幸遇到當年執意出去的少年我會把它腿打斷
回复 支持 反对

使用道具 举报

0

主题

22

帖子

792

积分

高级丹师

Rank: 5Rank: 5

积分
792
发表于 2024-8-2 07:33:12 | 显示全部楼层
感谢楼主分享
回复 支持 反对

使用道具 举报

1

主题

16

帖子

187

积分

高级丹童

Rank: 2

积分
187
发表于 2024-8-2 10:00:22 | 显示全部楼层
感谢分享 已购
回复 支持 反对

使用道具 举报

40

主题

862

帖子

4712

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
4712

万事如意节日勋章

发表于 2024-8-2 11:51:26 | 显示全部楼层
建议不要搞成直接删除,搞成自建个待删除文件夹,这也好进一步测试
回复 支持 反对

使用道具 举报

41

主题

741

帖子

5287

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5287

万事如意节日勋章开心娱乐节日勋章

发表于 2024-8-2 14:03:22 | 显示全部楼层
change1996 发表于 2024-8-2 06:16
我小白,有一次东搞搞,西搞搞,搞了几万多张图,总共140GB,本来其他工具要好几个小时,我好无奈才搞了这个出来 ...

https://dfldata.cc/forum.php?mod ... ;highlight=VisiPics
https://dfldata.cc/forum.php?mod ... p;extra=&page=1
这是其他坛友发的,你可以对比一下
第一个不用灵石
回复 支持 反对

使用道具 举报

5

主题

17

帖子

388

积分

初级丹师

Rank: 3Rank: 3

积分
388
 楼主| 发表于 2024-8-2 14:31:08 | 显示全部楼层
WaveBedo 发表于 2024-8-2 14:03
https://dfldata.cc/forum.php?mod=viewthread&tid=17879&highlight=VisiPics
https://dfldata.cc/forum. ...

我是说你被判定错误的src素材
<strong>有時候我希望我從來沒來過這裡, 如果我有幸遇到當年執意出去的少年我會把它腿打斷
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-23 21:21 , Processed in 0.157164 second(s), 45 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表