[CX3] Src faceset extract 能手工指定五官位置了，但引发更多问题

chjfth

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

本文接 https://dfldata.cc/forum.php?mod=viewthread&tid=19552 的未决问题。


[20241007.0] 从网上找了一些教学视频后发现， 4) data_src faceset extract MANUAL.bat 里头如何手工指定五官位置，Manual pass 窗口左上角其实有提示的, 只不过我之前的实验用的图片是白底白字, 就没看到.

临时换上一张黑底图片，就看到提示了, 如图：



[20241007.1a] 操作方法：

程序先展示的是 blue-circle-face.png . 将鼠标指针移到抽象人脸的正中心.



[20241007.1b] 点击鼠标右键. (点击后放开即可, 不要按住)




没错, 此时窗口内就是一片空白, 只有窗口中央呈现一个十字型的鼠标指针. 但不要慌张.

这是 Manual pass UI 设计非常糟糕的地方, 它让用户此时突然变得茫然. “是我把重要信息不小心清楚了吗?”



[20241007.1c] 将鼠标慢慢往右移. 移动少量距离后, 会看到蓝色的眼睛和嘴巴开始出现(从外围聚拢):




继续向右移动少量距离, 整张抽象脸完全出现:




[20241007.1d] 上下左右小心移动鼠标, 直至程序给出的(绿色的)五官骨架跟我抽象图的五官大致重合.




[20241007.1e]  按一下鼠标左键, 确认我指定的位置. 敲击鼠标左键后, 绿色的五官骨架变为蓝色, 蓝色表示 Locked 状态.



此时再移动鼠标, 窗口里头的图案就不再变化了.

-

哦, 鼠标右键点击是用来指定我们认定的人脸的中心位置.

接着的鼠标移动, 是用来比划出人脸中心点周围多大的面积属于人脸位置.

这套 UI 操作设计得还挺粗糙的.

-


[20241007.1f] 敲 Enter, 跳到下一幅图片.


red-circle-face.png 的手工指定结果如下



[20241007.1g] 回看控制台, 报告 Faces detected: 2, 没错了.



[20241007.3] 执行 5.XSeg) data_dst mask - edit.bat , 手工用绿线 label 一下脸部区域, 绕着圆脸的边界包一圈。





看到 blue-circle-face_0.jpg 文件内容被修改, 内嵌了 seg_ie_polys 信息, red-circle-face_0.jpg 同.



[20241007.3a] 执行 6) train SAEHD.bat , 给模型起名 CircleMusk4b .

Iter 258:



Iter 2880:





再训练下去似乎效果也不会更好了，即使进行了 6000 个 iters, 跟 3000 iters 并无大的变化, 估计已经到头了.

[20241007.3b] 四个疑问。


※ Q1: column ① 的白色区域是个倒三角形, 只把眼睛的范围包进来了. 为什么嘴巴没有进来?

※ Q2: column ⑤, 几乎全是红点眼睛. 为何没有蓝点眼睛呢? 我的两张 data_src 图片, blue-circle-face 和 red-circle-face 应该是平等的关系, 不是吗?

※ Q3: 老问题了. Training preview 的每一行, ①② 和 ③④⑤ 这两组小图, 到底是什么关系?! 比如前图中的 (A) 行, ① 的白色倒三角区域跟 ⑤ 的倒三角区域形状明显不同. 其他行也是如此, 难道, 这两组小图根本没有任何关系, 是各自独立的预览流?

※ Q4: SAEHD training 的动作, 根本不会去使用 XSeg_* 模型文件, 是吗? (即使 XSeg_256.npy 存在也不会去使用)

seancai110

不知道你搞这个干啥。上个贴就和你说了，DFL本质是个图像替换工具。什么换阿凡达，甚至鞋子换颜色，都是有人做过的。

Q1，你开了训练mask，而src没有mask，所以DFL会自动用人脸识别工具画个F类型的mask。现在只有三角形，那就是没识别对。你之前画的那个绿色圆圈，是多边形，不是mask。

DFL的图片，多边形是用来训练xseg遮罩模型，训练的时候不会识别。只有用多边形训练了xseg之后，再应用xseg写入位图的黑白mask，那个才是模型能够识别的mask。

Q3，第一列是src输入，第二列src输出，第三列dst输入，第四轮dst输出，第五列src到dst的输出。

DFL的代码直接就能看到，论文也是公开的。有什么概念不明白直接问就行了，没必要这样试来试去。

wtxx8888

seancai110 发表于 2024-10-7 23:11
不知道你搞这个干啥。上个贴就和你说了，DFL本质是个图像替换工具。什么换阿凡达，甚至鞋子换颜色，都是有 ...

人家在科研呢~~

DFL小白02

矛盾的，为了玩去读代码就变成了痛苦，然而这样解决问题是最直接有效的

chjfth

seancai110 发表于 2024-10-7 23:11
不知道你搞这个干啥。上个贴就和你说了，DFL本质是个图像替换工具。什么换阿凡达，甚至鞋子换颜色，都是有 ...

谢谢回应。 请问： 你说 “DFL 自动用人脸识别工具画个F类型的mask”。

Q1.1: 这里说的 F 是 "full face" 的意思吗？(head/wf/f/mf/hf 里头的 'f')

Q1.2: 自动识别 full face 的结果是个倒三角形，那有办法手工修正它吗？你意思是不是说，我在 [20241007.3] 和 [20241007.3a] 之间缺少了两个步骤：
※ 拿我的绿线多边形标注来训练出我自己的 XSeg model。
※ 将我刚才训练的 XSeg model 给 5.XSeg) data_src trained mask - apply.bat 到我的两张源图上。

关于 Q3，我的疑问是，凭什么程序把来自 src 的 A1 跟来自 dst A3 摆在同一行给我们预览，而不是把 A1 跟 B3 摆在同一行、或是将 A1 跟  C3 摆在同一行？

刚接触这个十几天，直接去源代码中找概念性问题的答案，对我来说要求有点高了。

seancai110

chjfth 发表于 2024-10-8 09:28
谢谢回应。 请问： 你说 “DFL 自动用人脸识别工具画个F类型的mask”。

Q1.1: 这里说的 F 是 "full face ...

Q1 是的，就是你说的那样。 有人做了个快切工具，可以直接在图片上画mask，你在论坛里搜下。

Q3  预览图只是训练过程的参考，不代表什么，都是随机的。

taoxiaobao

持续关注楼主。关于遮罩手绘，您在src某个（或几个）图上绘制后，需要执行训练，几分钟到二三十分钟不等即可，然后执行apply（您5楼说了），这个遮罩才会给其他类似的src图片添加上。
q3的问题，可能作者也会这样问您呢，列的排序不那么重要。
半大小白一枚，愿意与您分享和学习。当然您走得更远，关注。

neotheone1

看到楼主blue-circle-face_0.jpg 这张图 想起学汇编的时候debug ，物理内存地址 机器码 assicll码