没法闭眼是不是眼睛特征点有问题？

HKCT911

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

我的SRC里面有不少闭眼素材，但是练了很久，甚至专门拿一部分SRC和DST的各自闭眼素材单独练，也没练到闭眼，猜想是不是src切脸的眼睛有问题？坛友们帮看下我的闭眼素材debug图。一个正常的闭眼眼睛特征点该怎么画，是完全合并为一条线吗？

forumphp

我记得mve中有修复标记点的功能，你可以试一下把对齐点弄好再训练看看，至于有没有效果我也不知道，只是提供一个方向让你判断看看

MVE最新版本有没有人需要？MVE_0.8.2-all
https://dfldata.cc/forum.php?mod=viewthread&tid=12201
(出处: deepfacelab中文网)

wtxx8888

代码里，就没有 眼皮开合的对齐（只对齐 单眼的左右眼角）。
意味着，上下部分的点，是没用的。。。

Mrdeepfake

1. 同角度 src 或 dst 训练素材缺乏闭眼素材。
2. 训练量不够，建议重新开启随机扭曲，经过充分训练，再关闭随机扭曲，继续后续训练。
3. 删重，制备训练素材时，注意把闭眼素材挑选回收。建议使用 MVE 或其他图片浏览、筛选工具。其中 MVE 去重尤其推荐，能同时考虑图片相似度和 landmark 相似度去重，比一般只考虑图片相似度去重工具靠谱，甚至若去重参数合适，如 landmark 相似度参数调至 0.3 或0.29，眼睛、嘴巴等微表情脸图筛选问题也基本不用担心。

Mrdeepfake

wtxx8888 发表于 2026-1-23 17:03
代码里，就没有 眼皮开合的对齐（只对齐 单眼的左右眼角）。
意味着，上下部分的点，是没用的。。。 ...

你的 DFL 版本是不是较早？我看的版本，脸图对齐时，会考虑眼睛所有 landmark 进行对齐的，嘴只考虑外层的嘴角两点，脸部轮廓 landmark 会忽略（早期版本，连嘴部 landmark 其他点都会考虑）。版本不同，对齐处理可能是不一样的。较新版本的 MVE 在脸图对齐时，也会考虑眼睛所有 landmark 点，只是即使最新版 MVE，在脸图对齐时，还会考虑翻转，而 DFL 对齐时是不考虑或者说不允许翻转的。所以，对于极限角度侧脸，MVE 取脸有时会发生翻转，若考虑到人脸不是左右严格对称，不希望翻转，需要手动对两眼位置或两眉毛 landmark 点微调，阻止翻转发生（打破对称临界点），或用另外的工具按 DFL 对齐方式处理。

lhs

我猜的没错的话landmark 似乎不参与训练。他是辅助合成遮罩绘制。训练中是图片像素到像素，换句话说模型应该没有睁眼或者闭眼的概念，一个模型不可能包含很多的概念，如果是那样在训练时应该存在本文标注，需要通过本文描述告诉模型这是睁眼，你给我学，那是张嘴你给我学。从不使用第三方遮罩无法合成吃香蕉也证明这一点。

wangdaye

你这标记不到位，要这样标记拉成一条缝

nummer7

Mrdeepfake 发表于 2026-2-6 15:06
1. 同角度 src 或 dst 训练素材缺乏闭眼素材。
2. 训练量不够，建议重新开启随机扭曲，经过充分训练，再关 ...

大佬，图片有很多相似连贯的也会副作用吗0.0

come3002

甚至专门拿一部分SRC和DST的各自闭眼素材单独练，也没练到闭眼

=======================
1. 训练早期 最近若干迭代 假设src 10000张 ，闭眼的素材使用量较少。


2. 训练后期 没有及时更新 src 和dst。导致 相同角度 相同 光影 相同表情 下 闭眼的量太少。


改进办法。
1.训练阶段 前期备份改进
找到随机扭曲阶段的model ，一边训练一边测试。及时找 新 dst 预实验 （包含你的 将要 换脸的 dst 片段抽样而来，可以是 10帧抽1，或30帧抽1帧）。
随机扭曲跑一会，再关闭扭曲合成。 如果闭眼的效果弱。就 找到该 dst 预实验 的闭眼 导入刀哥 1.4  或mve 查看 该闭眼 大概是什么角度。然后 从电视剧 或 电影 增加 把 src 相同或相近  角度  的闭眼 src （命名 闭眼包。）


随机扭曲阶段 测试性价比最高。能及时弥补不足。




预览图 截图后，下载后放大 便于观察 随机扭曲阶段 细微表情炼制情况。
闭眼弥补好了 就可以进行其他 环节。或补充 表情，或 补充光影。


2.  训练阶段 后期 改进。
如果没有 随机扭曲 备份。或 关闭随机扭曲 几十万 （已经关闭随机扭曲50w以上 细节远远优于 随机扭曲阶段）才发现 闭眼有问题。回退到之前随机扭曲 会损失 几十万迭代，并且细节损失巨大。
可以临时弥补。
办法1  根据 预实验 闭眼 的dst 角度。从电视剧 寻找 src 相同角度 或相近角度 闭眼 动作 逐帧保留 src 做 闭眼包（500张以上），src 数量10000+500闭眼包，累计 10500张。
补充后。 src-dst 默认的关闭随机扭曲 的参数下，跑一段时间，看闭眼是否改善。
10500张src  可以在新丹 早期 随机扭曲阶段复用。

办法2  Ai 软件 生成 一些 相同角度或相似角度 闭眼的 src （比如生成了2000张，选最像的 质量最好的500张）

做 闭眼包（500张以上），src 数量10000+500闭眼包，累计 10500张。
补充后。 src-dst 默认的关闭随机扭曲 的参数下，跑一段时间，看闭眼是否改善。

Mrdeepfake

nummer7 发表于 2026-2-9 00:49
大佬，图片有很多相似连贯的也会副作用吗0.0

有，高度类似素材训练会占用大量训练资源（包括计算机资源与时间资源），但获得的效果收益却不大（基本相当于重复训练某些素材），模型收敛速度可能会变慢。多样性训练素材，一般而言，比使用大量相似度极高的素材整体收敛速度更快。