一直纠结的遮罩应用顺序问题

dreamtear

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

关于遮罩应用的时间端一直有个问题，之前一直是在最后合成阶段才用遮罩的，但是最近看了不少帖子又纠结起来了

1.第一种，切脸-训练-合成（按X键应用遮罩），这种是在教程里写的，因为方便观察遮罩效果；而且说是系统切脸时打的点也会生成一个遮罩，用这个训练就够了；
2.第二种，切脸-用脚本第五步的apply.bat脚本-然后再训练-合成，教程不推荐这种过程的是因为“推理出来的遮罩不一定完美，如果有瑕疵就会影响训练效果”，现在纠结的原因是因为a.现在的Xseg模型都很完善了，应用遮罩后能更好地训练脸部；b.训练的时候发现系统切脸时候遮罩不是很好，训练的预览图里会有眼镜架这些奇怪的东西，担心影响训练结果；c.训练参数里Masked training和Blur out mask，这两个都是和遮罩有关的参数；


所以想请问下大家到底哪种顺序会更好一点。

20210901

apply那个是DFL自带的Xseg遮罩
是作者用3090显卡 BS 16 训练了58万次的Xseg

买不起镇坛的可以把这个复制到model里， 看见哪些图还不完美，自己画一下再训练就是了，能省很多时间。

dreamtear

20210901 发表于 2021-11-9 01:17
apply那个是DFL自带的Xseg遮罩
是作者用3090显卡 BS 16 训练了58万次的Xseg

受教了，一直不知道一体包里原来还有自带的遮罩呢，所以还是要先apply一下再开始训练么

无敌小金鱼

Masked training和Blur out mask  前一个是专注于遮罩内的脸部进行训练，但如果遇到遮罩不完美的情况就会把遮罩也画进去。后面这个是模糊遮罩以外的东西好像是这个意思。

你可以把遮罩看作是另外一套独立的模型系统，当你手动画了一些遮罩就需要开启遮罩训练训练让他学习自动去匹配那些你还没有画的，不然一个戴眼镜的素材可能有上千张图，你不可能都去画。
当你应用别人训练好的遮罩模型到素材时，它就会自动去匹配遮罩的效果，但毕竟是自动的，所以肯定会有某些不完美有缺陷的遮罩，这时候应用后的目的就是为了打开遮罩编辑来做检查，看看哪些不够好再去手动修正它，假如经过了训练和手动修正已经没有缺陷遮罩出现了，那这时候想应用或者不应用都可以，反正你最后合成阶段都得应用那些遮罩。如果你不做检查修正直接应用就去到模型训练那就验证了教程的那句“推理出来的遮罩不一定完美，如果有瑕疵就会影响训练效果”。

使用顺序要看你的素材，不管是SRC还是DST，如果都是无刘海无遮挡的基本上不需要管遮罩，用万能遮罩或者自带的遮罩几乎可以完美匹配，但如果你两者都有很多遮挡，就需要先应用遮罩然后编辑去查看效果以及修复，然后再开始模型训练。

以上的逻辑应该是清楚了吧。

1234qwer111

路过学习

ctrlcctrlv

路过学习

wcw888

弱弱的问一下，a卡版本是不是不自带遮罩

whl716694

直接万能遮罩模型

pikaqiu616

路过学习

godblsyou

萌新路过学习