[CX1] 新手怪胎实验，拿几何形状做 data_src 人脸，会怎样？

chjfth · 发表于 2024-9-30 11:11:16

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 chjfth 于 2024-10-14 20:22 编辑

上下文比较复杂，我的问题在正文中以 Q1, Q2, Q3 标注。

我刚接触 DeepfaceLab 五天, 用的是 https://www.deepfakevfx.com/guides/deepfacelab-2-0-guide/ 提供的标准/默认软件包.

我想摸摸看这换脸的本质行为是什么, 于是准备了两个抽象线条脸作为 data_src .

[Q1] 然后, 第一个障碍是, 4) data_src faceset extract MANUAL.bat 没法找到头顶朝向. 意思是, Manual pass 预览窗里头的红色三角形没法朝向上方, 比如, 下图中, 红色三角是朝右的.

everpic-20240930_110409.png8bit.png

而且, 此处似乎无法手工修正红蓝绿三组线框的位置. 总之, face extract 算法不知道如何从我的两张图中定位到人脸位置. 那就暂时先忍下来.

[Q2] Extract 过程真的无法选择头顶朝向吗?

Generic XSeg apply 自然也不妙.

everpic-20240930_110618.png8bit.png

此时用手工 labeling 给原图框一下面庞位置, 就是框出一个绿色的圆圈.

everpic-20240930_110646.png8bit.png

SAEHD 训练 10000 次的结果：

SAEHD [1/2]
everpic-20240930_110834.q80.jpg

SAEHD masked [2/2]
everpic-20240930_110909.q80.jpg

[Q3] 根据合成出来的人脸, 是红蓝掺杂的. 我是不是可以得出结论, 假设我给 data_src 灌入 100 张人脸, 最终合成人脸是这 100 张脸综合特征的融合?
※ 如果这 100 张脸都来自于同一时期的同一个人, 那么合成效果就真的很像这个人.
※ 倘若这 100 张脸是在一个人群中随机选取的, 男女老幼胖瘦都有, 那么, 最终融合出来的是什么样子, 单凭头脑是很难想象的.