关于大角度和模糊脸的两个优化方向

day270010678

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

大角度 / 模糊脸不是 "学不会"，而是有效梯度信号被噪声稀释了。也就是梯度信号质量的问题，模型在这些样本上做了大量无效更新，真正用于学习身份的梯度比例很低。

第一个方向：加一个低分辨率（如 64×64 或 32×32）的重建损失。

大角度 / 模糊脸的高频细节本来就不可靠，不应该要求模型在全分辨率上完美重建。加一个低分辨率重建损失，鼓励模型先学好整体身份（低频），细节（高频）顺其自然。

低分辨率损失的梯度信号对大角度 / 模糊脸更可靠，因为它关注的是这些样本中仍然存在的信息（脸型、肤色、轮廓），而不是已经丢失的信息（细节）。

第二个方向；可见性加权损失
因为我在我的版本里面，人脸提取的时候，在元数据里面会添加特征点的不可见性的标识，功能：

对自动提取数据：无效果（全True），安全无副作用
对人工标注数据：精确抑制遮挡区域梯度
不会产生错误行为：只有用户明确标注了不可见点才生效
效果取决于用户有多少人工标注可见性的数据。但它是安全的补充——和多尺度损失互补：


dfl的优化也可以通过这两个方面去改善大角度和模糊脸的训练。有能力的自己去实现dfl的。我强烈建议你们在修改dfl版本的时候，人脸特征点手动提取的时候添加不可见性的标识，这样的好处是方便，对于不可见的点直接丢到一个位置，不需要去对齐，增加手动提取的效率。省事很多。

caiji132156

你直接把編碼器輸出和解碼器輸出連到一起，做一個後處理線性映射。線性映射的大小和inter差不多。這樣給解碼器和編碼器特徵輸出做加權，是可以有不錯的效果的，就是難練

Mrdeepfake

个人当前实用方案，全角度通用模型练一个，近极限大仰角素材、大俯角素材在通用模型基础上再各自练一个。遇到大仰角、大俯角的合成画面，就独自使用各自模型合成。然后大角度合成帧图片段和较小角度合成帧图片段之间，另外用个编的小程序线性过渡处理，过渡非常丝滑！

come3002

樱花换脸。可用多丹法。

我跟楼上做法类似，但是也又不同。原则是极像src优先，辅以契合的补充。
樱花换脸首先要DF极像为基础。
准备全角度 全表情 全光影src，炼制，炼制过程 可能产生各种分支。备份备用。

1.model A1 基础包炼制小角度和正脸极像src，遇到 可能 dst 颧骨 腮部 不一样时候能消除 这些左侧的颧骨 腮部（未用J缩放）。然后合成出 极像src小角度的效果（9成以上）。图1

有的 modelA2 是 左侧脸部腮部契合不变，但右额头缩一圈、眉毛 嘴巴 跟dst有巨大位移，远看 整个人脸小了一圈更像src（未用j缩放）。然后合成出 极像src小角度的效果（9成以上）。图2

2. 极限仰角俯角，吃冰棍等。
DF 极度依赖src的 丰富的喜怒哀乐表情。如果src 是木讷 的，dst是喜怒哀乐，练到极像也会效果为木讷。故modelA 基础包炼制过于像src，当src跟dst仰角镜头 表情有差别，就会违和，src 也缺少吃冰棍表情 合成吃冰棍效果也会违和；
按照，DF 图像匹配的原则，基础丹基础上 Ai产生 一点 src 的类似 樱花 表情，Ai一些类似src吃冰棍等可优化 。
然后训练src不再是基础包。而是 src基础包+ srcAi补表情+srcAi 吃冰棍，来训练 达到 很像src又极度契合的效果（7-8成相似度）。

得到吃冰棍 仰角 俯角 model B 该丹，并选择契合度高为佳。



src 和dst 采用相同的切脸软件。如果 极限仰角俯角用手切，dst极限仰角俯角也用手切。最后modelB合成极为契合dst表情的效果。此外改参数，还有其他的modelC，DE等。都可用合成测试用。哪个 极限仰角 俯角 吃冰棍等效果好用哪个 做补充。

如果 model A 在小的仰角 和小的俯角 效果 表情 契合度也可用。优先用 modelA 极像的。只有 比较违和的，再用 modelB合成的契合度高的弥补。


经过拼接， modelA 极像（9成以上相似度） 优先为主要镜头（30分钟 可能28分钟） +modelB 契合度高合成补充（7-8成相似度）为一晃而过的少量镜头（30分钟可能2分钟）。从而 得到 绝大多数 镜头 极像（9成以上），少数的稀有表情又契合的作换脸品。