有没有编程大佬尝试一下改善人脸清晰度排序算法

Mrdeepfake

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:5  参与人数:1  我的评分:未评

  从一部剧几十万张 src 素材中挑选一套满意的高画质素材不是一件容易的事。最耽误功夫的大概是挑选清晰度最高的素材，并剔除模糊的素材了。

  人脸清晰度排序目前没有很好的算法与产品，总会有漏网之鱼，而且还不少，所以需要人工删除模糊脸并回收清晰脸。也许有人说，为啥不以近景镜头来代替清晰脸？或者干脆剪辑 src 素材时只剪辑近景镜头？因为即使是近景镜头也不一定正好处于聚焦状况，出于导演表现手法或技术方面原因，近景镜头非焦（过焦与欠焦）也并不鲜见，人眼短时间是难以判断的，会对剪辑 src 视频及后续挑选最清晰、最佳 src 脸集带来不少麻烦。目前不论 DFL 还是 MVE 衡量清晰度的最终方法是按整张人脸方图（包括背景）对比度排序的，这样，遇到人脸聚焦而背景却模糊非焦的情况、人脸面积占比小如侧脸或其他近极限角度脸的情况，背景色彩丰富（因而对比度高）的情况，通过衡量整张图对比度来衡量人脸清晰度，就不会太好，事实上对这些图经常是失效的。这样对比度排序只能粗略挑选高画质人脸，细选需要不少人工工作量。其实，我个人觉得这种衡量清晰度的算法可以改进，比如结合人脸 XSeg 遮罩（再不济，还可以直接用切脸得到的粗略 FF 遮罩），只计算人脸部分的对比度，以此来衡量人脸清晰度，准确性应该会得到极大提高！但我个人不会 python 编程，要不然就弄这么一个小工具了，肯定非常实用！有编程大佬可以尝试改进一下这个算法，开发个小工具，或者直接集成到 DFL 中，这样筛选一套高质量 src 脸就不会那么幸苦！

H8juvbv

“比如结合人脸 XSeg 遮罩”
应用了XSeg 遮罩，但不知道怎么把加了遮罩的图，扣选出人脸。
不过在老哥的提示下，我尝试了一种相对操作麻烦点的办法，但是提高了不少精确度。
1 切好脸图后得到，比如512的，文件夹拷贝出来，文件夹名字Q。
2 复制Q文件夹，重命名为A，用个批量剪切图片的软件，把图片居中剪切150*150，那么一般就得到是部分人脸为主的图，少了背景干扰，每个图片的文件名没改。
3 复制文件夹A，命名为B，用果子狸的软件，去排序B文件夹。这个B文件夹的清晰度排序，排在后面的图都是模糊的，比如得到1000张模糊的图，图片名字已经全部改变。
4 先清空回收站，然后拷贝1000张模糊的图到文件夹A，使用相似图片排重，把和1000张模糊图的相同的图，一起删除到回收站。
5 去回收站把1000张原文件夹A的图，剪切出来，用替换文件模式拷贝到文件夹Q。然后文件大小排序，删除掉文件夹Q的1000张150*150的图。就剩下清晰的图。
还是得再人工选下，但是比原来方式精确了不少。
思路，就是按照你的思路，去掉背景的干扰，只留人脸去排序。

Mrdeepfake

H8juvbv 发表于 2023-10-5 21:55
“比如结合人脸 XSeg 遮罩”
应用了XSeg 遮罩，但不知道怎么把加了遮罩的图，扣选出人脸。
不过在老哥的提 ...

我对你方法又进行了改进，经过大量对比测试，发现下面的处理方法最好，只用 MVE 就得到更佳的处理结果（个人觉得甚至还要好于果子狸处理结果而且综合起来操作更为便捷，不用来回对脸图重命名）：

素材准备：为便于后续操作与观察，先恢复素材原始文件名，再用 MVE 去重减轻后续工作量；接着利用 MVE 人脸大小排序功能迅速分类近、中、远景镜头。接下来主素材选取集中于近景镜头，这些近景镜头有正焦清晰的，有非焦（过焦和欠焦）模糊一些的，还有运动模糊的，不一而足，我们的目的是在近景镜头中选出最佳画质等级的主素材。

操作方法：

（1）得益于 fanda 大佬指出实际 blur 排序中已经会调用默认粗略 FF 遮罩，我们可以先用 DFL 命令把 WF512 脸转为 FF512 脸，并保存 WF512 脸元数据再将其写入 FF512脸图中，这样在得到的 FF512 脸图中就可以获得比实际人脸更小的 FF 遮罩，从而减轻（侧脸）头发及可能的背景对对比度分析的影响；
（2）用 MVE 将上述的 FF512 脸图进行对比度排序，再进行粗分类，粗略分类出高清素材与模糊一些的素材，把它们按文件夹放置，这样我们实际上就能获得经过粗分类的高清素材文件名列表和模糊素材文件名列表；
（3）利用 Windows 文件复制功能实际上点复制命令时复制的是包括文件夹的文件名路径，在粗分类的清晰或模糊文件夹下选中所有文件并点击复制命令，再临时修改粗分类文件夹名称，并把原始 WF512 脸集文件夹路径、文件夹名称弄得跟前述粗分类的文件夹一样，然后粘贴进新建的分类文件夹。这样就能得到粗分类的清晰与模糊 WF512 脸集文件。
（4）用 MVE 幻灯片播放功能能检查一下分类结果，看看整体水平如何。实测分类结果比以前要好得多！
（5）最后结合 MVE 幻灯片播放功能，手动快速进行删减与回收：高清分类中模糊的图片要剔除（可以另外放置在一个文件夹），模糊分类中高清的素材要回收；侧脸及其他近极限角度脸要重点检查，很可能会误判。
（6）经过连续多次幻灯片播放检查与筛选，应该会得到一套质量很高的 src 素材。另外欠缺的角度与稀有表情可以从近景模糊脸或中、远景镜头补充，如果有必要，可能还需进行人脸增强（增强数目占总数比例最好控制在1%以下）。

个人觉得这种新的清晰度排序方法比以前要精准不少。若对以前清晰度排序处理结果不满意，觉得人工工作量仍然很大，不妨试试这种新方法，看看能否显著减轻人工工作量。

H8juvbv

支持一波，得益于论坛的一些软件，效率都在提高。大家用小部分时间找素材和剪切，其他大部分人工时间都花在剔除模糊脸，挑选清晰脸的这道工序上了，还特伤眼睛。期待会有大佬有研发出精准点的清晰排序软件。

fanda

DFL里的blur排序用了FF遮罩，所以很慢，效果也一般般，这个网站没人能彻底解决。可以结合果子狸的那个用

Mrdeepfake

fanda 发表于 2023-10-5 16:38
DFL里的blur排序用了FF遮罩，所以很慢，效果也一般般，这个网站没人能彻底解决。可以结合果子狸的那个用 ...

那就应该是 FF 遮罩把一部分头发（尤其是侧脸）包含了，黑白对比度能不高吗！若改用精确的 XSeg 遮罩，准确性应该会更高吧。我是 blur 排序中发现，面积占比小的清晰脸容易漏掉，面部清晰背景模糊非焦的脸偶尔也会漏掉，背景色彩丰富但模糊的人脸也容易按清晰脸来算。很难想象，清晰度相差那么大的脸竟然对比度能接近！

avtopalang

我现在用的方法：1，达芬奇把原素材分成3秒一段，利用人脸识别和分组
2，利用网站魔改切脸，提取指定分辨率人脸，模糊也不要紧
3，利用黄玉软件提升分辨率和清晰度
4，MVE里面删除某个角度特别多的部分人脸
5，利用网站金鱼训练SRC的死亡角度
6，把训练好的死亡角度人脸补充到SRC数据集

Mrdeepfake

avtopalang 发表于 2023-10-5 17:14
我现在用的方法：1，达芬奇把原素材分成3秒一段，利用人脸识别和分组
2，利用网站魔改切脸，提取指定分辨率 ...

图片增强一般是迫不得已，另外我不会去 AI 补角度，缺失的信息怎么补都难以重现。最麻烦的就是挑选或剔除那些中等画质的人脸了，比上不足比下有余，关键计算机算法还不能很好衡量，目前需要肉眼判断......

WaveBedo

支持楼主发帖！人工筛选图片是最费时间、最费眼睛的事情。有效的清晰度排序，将极大地减少筛选图片所花费的精力。论坛里有一些非常高明的插件，都有坛友搞出来了，我相信这个应该也有坛友能够搞得出来。期待各位大佬一显身手，为我们坛友谋福利，感谢！！

WaveBedo

fanda 发表于 2023-10-5 16:38
DFL里的blur排序用了FF遮罩，所以很慢，效果也一般般，这个网站没人能彻底解决。可以结合果子狸的那个用 ...

刚测试了几次果子狸的，觉得精度跟MVE、或者DFL的没差多少，要是精度能够再提高一点就好

fanda

WaveBedo 发表于 2023-10-5 18:43
刚测试了几次果子狸的，觉得精度跟MVE、或者DFL的没差多少，要是精度能够再提高一点就好 ...

真研究这方面还得读个博才能解决

WaveBedo

fanda 发表于 2023-10-5 19:02
真研究这方面还得读个博才能解决

你的水平高过很多博士吧，你做的软件，很多博士应该都做不出来