去重大师疯狗版 (比市面上软件快几百倍) 及私人笔记

change1996

WaveBedo 发表于 2024-8-2 19:53
这个很容易找出来的，你把自己切的src或者dst，用VisiPics扫一下
src或者dst，要重复比较多的那种，最好 ...

因為我的素材 用這腳本都沒這問題,所以我才問你要素材,看是什麼難搞的素材

change1996

WaveBedo 发表于 2024-8-2 19:53
这个很容易找出来的，你把自己切的src或者dst，用VisiPics扫一下
src或者dst，要重复比较多的那种，最好 ...

大哥,我上面有说,这个哈希跟人眼差不多, 你看得出来不同,它也看得出来
这个是我的素材, 你看这样筛会太重复吗



                             篩之前

我哈希值設置是8



                          筛之后

change1996

pasanonic 发表于 2024-8-2 11:51
建议不要搞成直接删除，搞成自建个待删除文件夹，这也好进一步测试

我还在研究新东西,有空我改了,这个不影响功能就先放着

xylego

感谢分享，这年头能看到如此详细的说明确实难得，果断买一波支持一下。
欧氏距离和余弦相似度在ML中计算向量距离很常见了。

看下来觉得感知哈希应该就够用了，不知道具体效果如何。有几点疑问和建议：
1.知哈希应对于非正面人脸或者角度比较大的图效果如何？
2.哈希值的取值范围能不能再稍微展开说明一下是怎么算的？例如是根据图片的分块大小/数量，还是哈希值的位数/精度来计算的？
3.急速版和疯狗版有什么区别。。？
3.最后一点小建议就是与其把重复图片直接删除，不如在当前目录创建个新文件夹把过滤出来的图片扔进去。当然下载脚本以后自己改改代码就行了。

change1996

xylego 发表于 2024-8-3 12:04
感谢分享，这年头能看到如此详细的说明确实难得，果断买一波支持一下。
欧氏距离和余弦相似度在ML中计算向 ...

1.建议你测试看看,调整到最适合自己的值,因为我自己是DFL小白,玩的素材种类没那么多,如果大角度或非正面人脸不够准确的话到时候我会加上其他方法改进脚本
2.哈希值的位数和图像的分块大小决定
3.我忘了,反正你下载最新的就好了
4.这个可以,最近有时间改