deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 24|回复: 0

下巴褶皱,鼻唇沟等这种高频细节

[复制链接]

47

主题

291

帖子

2276

积分

初级丹圣

Rank: 8Rank: 8

积分
2276
 楼主| 发表于 4 小时前 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 day270010678 于 2026-11-9 18:49 编辑

组
参数量
瓶颈维数
下巴 ridge 保留
鼻唇沟 ridge(左 / 右)
SD 保留
NCC
BASE(2× 降采样再上采)——99.7%99.6% / 99.5%99.9%1.000
SPATIAL4.01 M6,688(32ch@11×19,有位置)89.6%91.6% / 90.2%99.8%0.986~0.990
GLOBAL65.70 M384(无位置,与 df-du 同构)75.0%75.6% / 68.8%89.5~92.2%0.917~0.937

roi_ae_01337.png
瓶颈是 “空间自由度”,而不是参数量、也不是分辨率。通过我的pytorch测试,跟dfl的ae结构一致,所以我的这个测试,dfl也应该完全适应。
训练曲线也一致:2500 步后 SPATIAL 的 HF 损失 0.0094,GLOBAL 是 0.0140。

1. 瓶颈是 “有没有空间自由度”,不是参数量。 GLOBAL 参数量是 SPATIAL 的 16 倍,瓶颈维数却只有 1/17,结果 ridge 反而低 15~21pp。这条对照直接排除了 “加宽通道 / 加参数就能出褶皱” 的路子。

2. ROI 旁路的容量成立。 只给 6,688 个数(有空间维度),褶皱的脊就能恢复到 90%。对比真实模型的全脸 384 维只有 37.5%。

3. 分辨率在这个频带上不是杀手。 BASE(把 ROI 降到一半再升回来)保留了 99.9% 的 ridge—— 因为褶皱在 512 空间里是 12~25px,2× 重采样只影响 <4px 的成分。所以 “把模型从 256 改到 512” 治不了这个问题,只有 “让 ROI 走独立高分辨率支路” 才有用。

4. 但也别指望一步到位。 SPATIAL 仍差约 10% ridge,视觉上比 BASE 略软(l1 0.031 ≈ 8/255)。说明表示层能拿回大约七成(37.5% → 90%),剩下的靠更强的监督(对抗)或更多步数。

TARGET / BASE / SPATIAL / GLOBAL 四列(01337、01653)。GLOBAL 那列明显更平、更灰 —— 它就是 “384 维 + 8×8 网格” 的指纹。

监督目标,有两种方法:

(a) 重建优先型:refiner 挂在 `decoder_dst` 后面,输入 = 256 预测上采样的 ROI + warped dst 的高频带 + mask,输出 ROI 的 512 细化。先生命的是 4 列(重建)能画出褶皱,swap 列靠 warped dst 的高频自然继承。

(b) 细节迁移型:直接面向最终目标,把 dst 的褶皱形状迁到 src 的皮肤上。好处是一步到位,坏处是褶皱和皮肤纹理(毛孔、肤龄)在同一条 1.5–8px 频带里,网络很容易把 dst 的皮肤也一起搬过来 —— 那就变成 “src 的脸 + dst 的皮”,不是换脸。



测试的模型是这里的随便找的一个https://dfldata.cc/forum.php?mod=viewthread&tid=18758
回复

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2026-11-9 22:48 , Processed in 0.148150 second(s), 31 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表