关于大角度和模糊脸的两个优化方向

day270010678

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

大角度 / 模糊脸不是 "学不会"，而是有效梯度信号被噪声稀释了。也就是梯度信号质量的问题，模型在这些样本上做了大量无效更新，真正用于学习身份的梯度比例很低。

第一个方向：加一个低分辨率（如 64×64 或 32×32）的重建损失。

大角度 / 模糊脸的高频细节本来就不可靠，不应该要求模型在全分辨率上完美重建。加一个低分辨率重建损失，鼓励模型先学好整体身份（低频），细节（高频）顺其自然。

低分辨率损失的梯度信号对大角度 / 模糊脸更可靠，因为它关注的是这些样本中仍然存在的信息（脸型、肤色、轮廓），而不是已经丢失的信息（细节）。

第二个方向；可见性加权损失
因为我在我的版本里面，人脸提取的时候，在元数据里面会添加特征点的不可见性的标识，功能：

对自动提取数据：无效果（全True），安全无副作用
对人工标注数据：精确抑制遮挡区域梯度
不会产生错误行为：只有用户明确标注了不可见点才生效
效果取决于用户有多少人工标注可见性的数据。但它是安全的补充——和多尺度损失互补：


dfl的优化也可以通过这两个方面去改善大角度和模糊脸的训练。有能力的自己去实现dfl的。我强烈建议你们在修改dfl版本的时候，人脸特征点手动提取的时候添加不可见性的标识，这样的好处是方便，对于不可见的点直接丢到一个位置，不需要去对齐，增加手动提取的效率。省事很多。