滚石大佬讲xseg模型的帖子，有人解惑吗？

tiantian

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

滚石大佬的一篇教程贴，没有理解，希望有大佬能解惑
2. 使用Xseg模型
使用Xseg模型实际上有两种使用方式，一种是在换脸模型训练前先把遮罩给推理出来，应用到训练素材中。另一种是合成时实时生成遮罩并预览。

第一种方式就是使用5.XSeg) data_src trained mask - apply.bat脚本（dst同理），讲遮罩提前生成并写入图片信息中。这样在换脸模型训练阶段就能只针对重点区域进行学习，不去学习什么口红啊，头发啊，略微能提升点质量。但个人不推荐这种方式，因为推理出来的遮罩不一定完美，如果有瑕疵就会影响训练效果。

建议使用第二种方式，在合成merge阶段，在交互预览窗口直接按X来实时计算遮罩，因为方便观察遮罩效果。X可以多按几次，有多个遮罩使用模式，总有一款会适合你
疑问：
1，这一句，"使用apply.bat脚本，讲遮罩提前生成并写入图片信息中。在换脸模型训练阶段就能只针对重点区域进行学习，不去学习什么口红啊，头发啊"
      我在画遮罩的时候不是已经将口红刘海眼镜等遮挡排除了之后再去训练遮罩模型的吗？按理说应该用apply.bat，在换脸模型训练阶段应该是让软件更好的学习了我画的遮罩呀。


2，假如我不用apply.bat，在换脸模型训练阶段，软件反倒是会根据我训练的遮罩模型去学习吗？



3，在merge合成阶段直接使用X来实时计算遮罩，这一步骤是在换脸模型训练的后一步，是不是意味着在训脸阶段遮罩学习并不重要，反正最后还是靠xseg开始训练的模型去实时计算

lily878

幫頂!!不懂

whl716694

不懂帮顶！！！！！！！！！

aaa2002911

这是纯水贴么？

第一，你画得遮罩，只是为了后面你训练遮罩时候更精准的参考，万能遮罩或者单纯训练的遮罩有些数据不一定就完全完善，会出现舌头或这脸部某些部分有些未被罩上或者不该罩的罩上。最后合成会导致阴影块的时候读dst的数据，不阴影的时候读取src的数据，这样还不理解，建议在点击遮罩应用后打开遮罩编辑，点右上角的那个人脸，查看。 这就是视频有一块地方严重闪色问题的一种理由

第二，只有在你点击应用遮罩以后，他才会单纯的只训练遮罩范围，而不是说你画了他就不训练，而且训练模型时上面还有个选项需要打开。假如你不用apply.bat。他会学习整个图

第三，实时计算遮罩是什么意思不太理解，没有前期训练好的遮罩，即使能识别遮罩范围，你认为精准度如何，会不会包含src的头发进去，伸出去的舌头你src没有相应资料怎么办？口红怎么办，不画不应用遮罩的话按x有用吗？

滚石

1. 训练有两种，一种是训练换脸模型，一种是训练遮罩模型。训练换脸模型中有个选项是只训练遮罩部分，默认遮罩是人脸68个特征点围出来的脸部区域，如果用了遮罩模型apply，则默认遮罩替换为遮罩模型预测的区域。

2. 见上一点回答

3.对

tiantian

aaa2002911 发表于 2021-6-4 18:55
这是纯水贴么？

第一，你画得遮罩，只是为了后面你训练遮罩时候更精准的参考，万能遮罩或者单纯训练的遮罩 ...

感谢大佬打了这么多字。
我是看了那个老毛子的视频，他是画好遮罩然后训练，然后apply,再去检查遮罩，就是你说的点击右上角那个人脸，检查错误的遮罩，然后再改正重画，再去训练，再apply再检查再训。和滚石大佬的那个教程刚好是个反的，我才有疑惑。
滚石大佬的建议是不apply,不将遮罩提前生成写入，而是训练遮罩后开始训脸，最后在merge时按X实时计算遮罩，实时计算遮罩这个概念是滚石大佬说的。
我看你的意思是要Apply?

aaa2002911

tiantian 发表于 2021-6-5 01:07
感谢大佬打了这么多字。
我是看了那个老毛子的视频，他是画好遮罩然后训练，然后apply,再去检查遮罩，就 ...

不单有个应用，还有个移除呢/。应用方便检查啊训脸阶段遮罩本来就不重要，遮罩只有再合成的时候才有用的啊 但再合成前你要保证你的遮罩是完美的，没有大黑洞。好的遮罩能避免不少小问题

tiantian

。。。。。。

tiantian

aaa2002911 发表于 2021-6-5 01:26
不单有个应用，还有个移除呢/。应用方便检查啊训脸阶段遮罩本来就不重要，遮罩只有再合成的时候才有用的啊 ...

训练换脸模型中有个选项是只训练遮罩部分，默认遮罩是人脸68个特征点围出来的脸部区域，如果用了遮罩模型apply，则默认遮罩替换为遮罩模型预测的区域。
上面这一句是滚石大佬回我的。正是我疑惑的地方，在训脸的时候假如我提前Apply了，应用了我画好检查好的遮罩，也就是应用了我前面训练的遮罩模型预测区域，这样不是更加准确吗？比如我dst画了眼镜，ai知道我要保留眼镜，他在训脸的时候会更加精确去照顾这个细节。假如我不appl的话，AI根据68个特征点去围，难道还会比我自己画的更加准确？