pytorch重构了dfl

day270010678

Mrdeepfake 发表于 2026-3-4 09:37
MVE 手动取脸已经做得很完善了，用得着重新开发吗？若元数据存储内容不同，大不了把原 DFL 脸图存储的元数 ...

那个是辅助，我这个是集成，你难道不觉得dfl侧脸和大角度脸有问题？所以就需要从根上去改善，同时要提供比他原始s3fd+fan更高效率的数据。

day270010678

forumphp 发表于 2026-3-3 23:31
你要考虑兼容性，要与先前的图像数据完全兼容，不然你提取出来的图像，我敢保证没人敢用，为什么？用你的 ...

你难道不觉得dfl侧脸和大角度脸有问题？所以就需要从根上去改善，同时要提供比他原始s3fd+fan更高效率的数据，这是重构的时候我想的，假如兼容，那很难改善侧脸和大角度的问题的，除非重新训练权重文件，那不是我该做的事，我就是一时心血来潮而已。没那个精力和时间去训练权重文件

Mrdeepfake

day270010678 发表于 2026-3-4 12:54
那个是辅助，我这个是集成，你难道不觉得dfl侧脸和大角度脸有问题？所以就需要从根上去改善，同时要提供 ...

接近90度的极限角度脸还好， 人脸对齐时，landmark 在一个方向的放大对齐优化效果有限，另一方向的放大由于对齐优化效果迅速变差，所以会对放大产生很大限制。所以，那些角度接近90度的侧脸、俯仰脸，大小正常，基本和正面一样；最麻烦的是那种中等角度的侧脸、俯仰脸，对齐时会被放大，如果偏航角、俯仰角都是处于中等角度，那么恭喜，这种人脸角度对齐时，脸图放大最严重！额头、下巴、耳朵附近的人脸就可能被切掉！说到底，要解决这一问题，DFL 还是要改善人脸对齐逻辑。最简单的办法，就是切脸时，人脸 padding 要大一些，即直接使用原 DFL 提供的缩放取脸函数。个人还有一个简单想法，直接附加一个修正的缩放因子，分别把中等偏航角、俯仰角（假定45度）对应的缩放因子设定一个合理的最大幅度的修正值，90度侧脸、俯仰脸缩放修正因子置1，然后偏离这些角度的，修正因子按线性插值近似处理，就是没深入研究过，不知道会不会对 DFL 训练产生不好的影响，哈哈。

forumphp

day270010678 发表于 2026-3-4 12:57
你难道不觉得dfl侧脸和大角度脸有问题？所以就需要从根上去改善，同时要提供比他原始s3fd+fan更高效率的 ...

有人说可以DFL脸图存储的元数据改写，那么你做完后再改写回去就兼容了，加油相信您能做的到！

day270010678

Mrdeepfake 发表于 2026-3-4 14:14
接近90度的极限角度脸还好， 人脸对齐时，landmark 在一个方向的放大对齐优化效果有限，另一方向的放大由 ...

你说的那都是算法，是无法从根本上解决问题的，这是权重文件或模型文件的问题，单纯看算法是不可能解决的，除非重新训练权重文件。我现在的解决法子就是尽可能的优化算法，借助检测器对侧脸的识别，假如就是识别不了侧脸，就直接pass，因为没有任何意义，而s3fd的检测器对侧脸的识别本身就有问题，这跟他的权重文件及算法有关系，但是实际上s3fd是比较成熟和稳定的，但是retinaface正脸跟所有的检测器都一样，但是侧脸的检测率要远远高于s3fd，因为他的角度远远大于s3fd，所以只要保证识别后，脸部对齐也就是特征点提取准确就行了，所以需要解决的是脸部对齐的问题。所以我现在的做法是检测器检测到的脸部，保证能够有准确的脸部对齐。

day270010678

forumphp 发表于 2026-3-4 14:43
有人说可以DFL脸图存储的元数据改写，那么你做完后再改写回去就兼容了，加油相信您能做的到！ ...

你的意思我明白，主要是没意义，为了后期训练或遮罩简单及后期的融合，我都打算甚至把脸部属性和特点都包含进去，这样后面遮罩基本不用画和训练，像头发眼睛胡子之类的不用画遮罩，只是微小的方面画点辅助遮罩训练

Mrdeepfake

day270010678 发表于 2026-3-4 17:18
你的意思我明白，主要是没意义，为了后期训练或遮罩简单及后期的融合，我都打算甚至把脸部属性和特点都包 ...

脸图对齐是一方面，脸图融合那又是另一个大课题。你这听起来就复杂。要想融合和谐度高，必定需要精确遮罩，不管你用什么方式实现；但精确遮罩本身就包含大量细节信息，除了大模型可能外，DFL 自用小遮罩模型几乎没有万能的，除了特别简单、干净的脸，细节稍丰富、复杂一些，要获得高精度遮罩模型，基本上都要重新训练，这一步骤免不了！若不追求非常高的脸部融合性，平时训练好的“万能遮罩”模型已足够用；若更追求融合后的相似性，那么一般情况几乎必定要牺牲一部分融合和谐性，比如额头发际线，比如覆盖 dst 脸部的少量头发，这种情况下，精确遮罩模型又无太大意义。 要想融合相似性和和谐性都很高，除了极少数例子偶然能做到外，路径只有一条，那就是利用大模型生成了。公众资源，大模型使用必定会有各种限制，除非个人有财力利用云平台训练一个自用的大模型，或者若有一天量子计算机也能实现类似机制并廉价走入个人用户，否则，训练大模型这条路想都别想！对于融合，目前对于大多数用户，最终问题只是个抉择问题，是更倾向选择融合和谐性，还是更倾向选择相似性。

不过，你个人愿意尝试，我还是持鼓励态度，毕竟是创新源泉嘛，失之东隅，也能收之桑榆，即使最终结果不理想，往往也能在某方面获取些突破、改进。