deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
楼主: Mrdeepfake

有没有编程大佬尝试一下改善人脸清晰度排序算法

[复制链接]

7

主题

125

帖子

2196

积分

初级丹圣

Rank: 8Rank: 8

积分
2196
发表于 2023-10-5 21:55:53 | 显示全部楼层
本帖最后由 H8juvbv 于 2023-10-5 22:46 编辑

“比如结合人脸 XSeg 遮罩”
应用了XSeg 遮罩,但不知道怎么把加了遮罩的图,扣选出人脸。
不过在老哥的提示下,我尝试了一种相对操作麻烦点的办法,但是提高了不少精确度。
1 切好脸图后得到,比如512的,文件夹拷贝出来,文件夹名字Q。
2 复制Q文件夹,重命名为A,用个批量剪切图片的软件,把图片居中剪切150*150,那么一般就得到是部分人脸为主的图,少了背景干扰,每个图片的文件名没改。
3 复制文件夹A,命名为B,用果子狸的软件,去排序B文件夹。这个B文件夹的清晰度排序,排在后面的图都是模糊的,比如得到1000张模糊的图,图片名字已经全部改变。
4 先清空回收站,然后拷贝1000张模糊的图到文件夹A,使用相似图片排重,把和1000张模糊图的相同的图,一起删除到回收站。
5 去回收站把1000张原文件夹A的图,剪切出来,用替换文件模式拷贝到文件夹Q。然后文件大小排序,删除掉文件夹Q的1000张150*150的图。就剩下清晰的图。
还是得再人工选下,但是比原来方式精确了不少。
思路,就是按照你的思路,去掉背景的干扰,只留人脸去排序。

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1 十分给力!

查看全部评分

回复 支持 2 反对 0

使用道具 举报

20

主题

499

帖子

5万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
52550

真我风采勋章

发表于 2023-10-5 22:05:08 | 显示全部楼层
我的软件有导出遮罩功能,实际上用来排序没什么效果
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5457

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5457

万事如意节日勋章

QQ
 楼主| 发表于 2023-10-6 01:14:10 | 显示全部楼层
H8juvbv 发表于 2023-10-5 21:55
“比如结合人脸 XSeg 遮罩”
应用了XSeg 遮罩,但不知道怎么把加了遮罩的图,扣选出人脸。
不过在老哥的提 ...

这方法值得尝试!就是估计侧脸还会有些问题,人工检查时需要重点留意。但若能大幅提高近正面脸清晰度判断准确性,已经好不少了!
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5457

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5457

万事如意节日勋章

QQ
 楼主| 发表于 2023-10-6 12:24:00 | 显示全部楼层
本帖最后由 Mrdeepfake 于 2023-10-6 12:37 编辑
H8juvbv 发表于 2023-10-5 21:55
“比如结合人脸 XSeg 遮罩”
应用了XSeg 遮罩,但不知道怎么把加了遮罩的图,扣选出人脸。
不过在老哥的提 ...

我对你方法又进行了改进,经过大量对比测试,发现下面的处理方法最好,只用 MVE 就得到更佳的处理结果(个人觉得甚至还要好于果子狸处理结果而且综合起来操作更为便捷,不用来回对脸图重命名):

素材准备:为便于后续操作与观察,先恢复素材原始文件名,再用 MVE 去重减轻后续工作量;接着利用 MVE 人脸大小排序功能迅速分类近、中、远景镜头。接下来主素材选取集中于近景镜头,这些近景镜头有正焦清晰的,有非焦(过焦和欠焦)模糊一些的,还有运动模糊的,不一而足,我们的目的是在近景镜头中选出最佳画质等级的主素材。

操作方法:

(1)得益于 fanda 大佬指出实际 blur 排序中已经会调用默认粗略 FF 遮罩,我们可以先用 DFL 命令把 WF512 脸转为 FF512 脸,并保存 WF512 脸元数据再将其写入 FF512脸图中,这样在得到的 FF512 脸图中就可以获得比实际人脸更小的 FF 遮罩,从而减轻(侧脸)头发及可能的背景对对比度分析的影响;
(2)用 MVE 将上述的 FF512 脸图进行对比度排序,再进行粗分类,粗略分类出高清素材与模糊一些的素材,把它们按文件夹放置,这样我们实际上就能获得经过粗分类的高清素材文件名列表和模糊素材文件名列表;
(3)利用 Windows 文件复制功能实际上点复制命令时复制的是包括文件夹的文件名路径,在粗分类的清晰或模糊文件夹下选中所有文件并点击复制命令,再临时修改粗分类文件夹名称,并把原始 WF512 脸集文件夹路径、文件夹名称弄得跟前述粗分类的文件夹一样,然后粘贴进新建的分类文件夹。这样就能得到粗分类的清晰与模糊 WF512 脸集文件。
(4)用 MVE 幻灯片播放功能能检查一下分类结果,看看整体水平如何。实测分类结果比以前要好得多!
(5)最后结合 MVE 幻灯片播放功能,手动快速进行删减与回收:高清分类中模糊的图片要剔除(可以另外放置在一个文件夹),模糊分类中高清的素材要回收;侧脸及其他近极限角度脸要重点检查,很可能会误判。
(6)经过连续多次幻灯片播放检查与筛选,应该会得到一套质量很高的 src 素材。另外欠缺的角度与稀有表情可以从近景模糊脸或中、远景镜头补充,如果有必要,可能还需进行人脸增强(增强数目占总数比例最好控制在1%以下)。

个人觉得这种新的清晰度排序方法比以前要精准不少。若对以前清晰度排序处理结果不满意,觉得人工工作量仍然很大,不妨试试这种新方法,看看能否显著减轻人工工作量。

评分

参与人数 1贡献 +1 收起 理由
459717439 + 1

查看全部评分

回复 支持 1 反对 0

使用道具 举报

7

主题

125

帖子

2196

积分

初级丹圣

Rank: 8Rank: 8

积分
2196
发表于 2023-10-6 19:36:56 | 显示全部楼层
Mrdeepfake 发表于 2023-10-6 12:24
我对你方法又进行了改进,经过大量对比测试,发现下面的处理方法最好,只用 MVE 就得到更佳的处理结果(个 ...

老哥,“把 WF512 脸转为 FF512 脸”,是把wf512的脸图当帧画,用dfl重新来切F512脸吗?
我尝试了一下。你改进的办法,用wf512的特征信息写入f512后,用MVE 打开F512,用MVE的blur 排序。
结果比原始的方法好些,但前面清晰的图里,也还是夹杂不少模糊脸。
后面模糊的也有些清晰的图在里面。
总体质量是比提升了些,不过和我用的那个剪切成小图的办法,结果差不多。
不知道是不是我哪步操作有问题。
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5457

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5457

万事如意节日勋章

QQ
 楼主| 发表于 2023-10-6 19:59:35 | 显示全部楼层
H8juvbv 发表于 2023-10-6 19:36
老哥,“把 WF512 脸转为 FF512 脸”,是把wf512的脸图当帧画,用dfl重新来切F512脸吗?
我尝试了一下。 ...

不是,用 DFL resize 命令,不仅能改变脸图尺寸,还能改变脸类型,把 WF 脸改为 FF 脸。另外,目前任何一种工具清晰度排序,只能粗选,不可能细选。只要粗选比原来效率显著提高就好!我试过你的批量剪切方法,图太小,五官都存在被截掉情况,对对比度分析可能会不利,而且肉眼不太好辨识清晰度。另外,你粗选时,要基本按照不同位置模糊/清晰脸统计数量来大致决定模糊脸和清晰脸分界线。
回复 支持 反对

使用道具 举报

7

主题

125

帖子

2196

积分

初级丹圣

Rank: 8Rank: 8

积分
2196
发表于 2023-10-6 20:22:32 | 显示全部楼层
本帖最后由 H8juvbv 于 2023-10-6 21:35 编辑
Mrdeepfake 发表于 2023-10-6 19:59
不是,用 DFL resize 命令,不仅能改变脸图尺寸,还能改变脸类型,把 WF 脸改为 FF 脸。另外,目前任何一 ...

原来用命令,重新试了一次,比第一次尝试效果好多了,清晰和模糊的区分的比较精确点了。
剪小图的办法,确实不稳定,要原来脸图比较居中才好弄。侧脸之类容易剪切不到脸。还是你的方法比较好点。
回复 支持 反对

使用道具 举报

7

主题

125

帖子

2196

积分

初级丹圣

Rank: 8Rank: 8

积分
2196
发表于 2023-10-6 20:25:06 | 显示全部楼层
fanda 发表于 2023-10-5 22:05
我的软件有导出遮罩功能,实际上用来排序没什么效果

大佬,才发现你的软件好多功能,这个导出遮罩图也有。用导出的遮罩的图来排序,结果确实也差不多。
回复 支持 反对

使用道具 举报

38

主题

740

帖子

5227

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5227

万事如意节日勋章开心娱乐节日勋章

发表于 2023-10-7 11:29:40 | 显示全部楼层
Mrdeepfake 发表于 2023-10-6 12:24
我对你方法又进行了改进,经过大量对比测试,发现下面的处理方法最好,只用 MVE 就得到更佳的处理结果(个 ...

“并保存 WF512 脸元数据再将其写入 FF512脸图中”这句话是要使用4.2) data_src util faceset metadata save来恢复数据吗?改为F512,应该不会删掉脸的数据吧?是不是我理解错了,你说得是另外的意思啊
回复 支持 反对

使用道具 举报

5

主题

241

帖子

5457

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5457

万事如意节日勋章

QQ
 楼主| 发表于 2023-10-7 11:35:56 | 显示全部楼层
WaveBedo 发表于 2023-10-7 11:29
“并保存 WF512 脸元数据再将其写入 FF512脸图中”这句话是要使用4.2) data_src util faceset metadata s ...

save 是保存的 WF512 元数据;restore 是把 WF512 元数据写入 FF512 脸图,FF512 元数据会被覆盖。
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-10-6 12:20 , Processed in 0.103760 second(s), 8 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表