pytorch重构了dfl

mjy9921130

如果能解决大角度问题就完美了！

day270010678

mjy9921130 发表于 2026-3-6 14:38
如果能解决大角度问题就完美了！

这个问题说难也难，说简单也简单，简单的原因是，只要有200张大角度标注的图片，花费几个小时重新训练一个补充权重，利用“知识蒸馏”技术完全可以解决，难就难在我找不到那么多的大角度图片，标注也很费时，要按照特征点顺序标准，假如是106点，一个图片就要标注106个，太累，我是没那个空闲去做这种精细活。

day270010678

ulu 发表于 2026-3-6 04:56
没必要重复造轮子

嗯，我是玩玩，学习下神经网络，就用pytorch做了个，性能肯定比dfl好，我当初造轮子的时候就是希望解决他的几个瓶颈，一是脸部识别方面，一方面是遮罩方面，一方面就是训练性能进一步提高。我就断断续续，什么时候有空就什么折腾，反正也是玩玩为主。

day270010678

Dfs213 发表于 2026-3-5 14:02
用过512遮罩 同样发现太精准的遮罩合成反而效果不好

你说的这种太精准反而不好，肯定是有原因的，我猜测你是断续精准，而不是连续精准，或者人脸特征点本身就有问题等等造成的。

day270010678

mjy9921130 发表于 2026-3-6 14:38
如果能解决大角度问题就完美了！

我给你提供一个后处理的法子，只要脸部在检测框内，90%以上的大角度图片都能精准提取，你用检测器的5点去推理106点，假如你就是想用dfl的数据，在转为68点，你可以测试，或者你直接用5点推理68点，但是效果肯定不如106点以上更准确。记住先训练个简单的数据映射权重。

Dfs213

day270010678 发表于 2026-3-6 23:19
你说的这种太精准反而不好，肯定是有原因的，我猜测你是断续精准，而不是连续精准，或者人脸特征点本身就 ...

比如dst 空气刘海到眉毛 再精准一样破相 只能去掉眉毛提升融合能力

day270010678

fghfdg 发表于 2026-3-4 00:01
大佬能否增加以下功能：

一般需要手动调整的图片都是大角度的图片，通常就是某些五官会挤在一片很小的区 ...

你的意思是假如大角度看不到的五官，直接隐藏？然后程序后面自动用对称的方式去处理？只调整我们眼睛看见的特征点，看不到的完全交给程序自动去处理？这个思路好，值得实现。假如看不到左眼，那左眼索性不添加，假如嘴巴最看到一半，我们直接添加看见的特征点，看不见的就不管他，让程序后台用姿态对称的方式自动处理，这个思路好，呃，也不行，假如是这样的话，我们只能用5点，基于5点去推理68点或106点，那就不能看到实时的68点或106点特征点了，只能生成后看。不过可以添加一个5点手动

deep2025

day270010678 发表于 2026-3-10 22:02
你的意思是假如大角度看不到的五官，直接隐藏？然后程序后面自动用对称的方式去处理？只调整我们眼睛看见 ...

其实不管怎么推理和手动，都受限于模型，目前想解决侧脸问题只能改模型，首选就是MogFace，侧脸的检出率在95%以上， 它对极端姿态、各种遮挡等复杂场景进行了优化，这几天在单位摸鱼顺便研究下这个，就是矩阵变换这块还是差了很多，还需要很多调整才能定型，但是切图确实快非常多   

其实实际上据我实践，特征点也没那么重要，切图挺重要，这个MogFace我设置了可信度阈值后，模糊的或者超级大角度的脸基本就不切了，省了很多挑选的时间。

fghfdg

deep2025 发表于 2026-3-12 22:56
其实不管怎么推理和手动，都受限于模型，目前想解决侧脸问题只能改模型，首选就是MogFace，侧脸的检出率 ...

请问一下你这个是怎么实现的？我感觉侧脸问题不是在检测模型上而是在提取器上。我测试用的图片人脸角度接近90度的侧脸其实是检测出来了，但是提取的landmark不正确。我用codex做了一个retinaface+3ddfa-ve的提取工具，先提取3d再映射回68点。发现这个方法landmark准确率比原版的s3fd+fan还低。

day270010678

fghfdg 发表于 2026-3-21 01:20
请问一下你这个是怎么实现的？我感觉侧脸问题不是在检测模型上而是在提取器上。我测试用的图片人脸角度接 ...

你这个肯定有问题，3d不可能比2d的低，你看到的低是因为那是3d映射到2d，而实际情况是，3d实际比2d准确的多了。假如你仅仅映射看2d的68点把他反馈到图片上，那肯定是偏离很多。这是视觉效果，但是真正应用到训练或者后期融合的话，一直到最终换脸，那3d肯定要比2d强和准确。所以真要用3d的话，元数据直接存储3d的，不要转为68或其他点。那个生成的调试图其实意义不大，3d只要保证可见的五官是准确的就行