万能遮罩遇到问题，训练时出现些状况，求助！

缥缈花 · 发表于 2021-12-23 22:49:15

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由缥缈花于 2021-12-23 22:50 编辑

遇到两个问题，分别是遮罩训练阶段和模型训练阶段的预览图，下面我对应放上图。
最近好不容易入了镇坛之宝，我自己也画了一些src和dst的素材接近3千多张扔进去训练，练了8小时左右，然后就发现了些问题，下图：
QQ截图20211223222534.png

第三行的遮罩是正常的，而出状况的不是全黑遮罩，就是密集的零星点点在脸上。。。遮罩小白没怎么用过，下来就直接用在模型训练上了，跑了两天然后又出现状况，下图：
QQ截图20211223180236.png

求大佬解答疑惑，出这一茬给我看懵了

maruiyi · 发表于 2021-12-24 17:02:19

缥缈花发表于 2021-12-24 16:19
不会吧。。。那不是每张都得有才行？

再查看一下，排除形状是不是有用实线的，画的多了容易出错

temphk · 发表于 2021-12-24 06:09:55

从图的前两行看，你的素材切脸有问题，请排除切脸有明显问题的素材。

从第三行看，你的遮罩路径都没画好，脸型的边都没贴合，虽然是随机扭曲视图，也不至于这样。所以请排查没画好的遮罩，删除或是重画。

并且，从训练好的遮罩预览来看（第二列），边缘已经非常硬了，而你又说有零星点点，说明训练迭代过多了，而且是多太多了。

正式模型训练时的问题就是遮罩模型引起的，无解。请解决遮罩的问题后，再使用遮罩模型进行训练。

wcw888 · 发表于 2021-12-24 06:11:00

这个像是
遮罩
自动识别错误，手动纠正一下
试试

似曾相识 · 发表于 2021-12-24 07:28:23

吓人。。

kingfxy · 发表于 2021-12-24 07:54:11

temphk 发表于 2021-12-24 06:09
从图的前两行看，你的素材切脸有问题，请排除切脸有明显问题的素材。

从第三行看，你的遮罩路径都没画好， ...

你的意思就是错误的情况下，迭代多了就是走了弯路是吧，就会问题更多

c956331067c · 发表于 2021-12-24 07:56:47

没有遇过，顺路学习一下

azuo1995 · 发表于 2021-12-24 08:45:15

一脸懵逼的进来

temphk · 发表于 2021-12-24 09:44:29

kingfxy 发表于 2021-12-24 07:54
你的意思就是错误的情况下，迭代多了就是走了弯路是吧，就会问题更多

是的。

不过哪怕都正确，遮罩训练中迭代太多，也会在脸部出现星星点点漏洞的问题。

遮罩训练时，不要把边缘训练的太硬太税利，否则在某些面部上可能会出现漏洞的情况。

你的问题一是迭代过多，二是我严重怀疑你切好脸的 aligned 脸图，有一部份是没有 landmarks 的，需要重新切脸。自己检查看看。