src与dst均带眼镜，如何使用遮罩训练？

zongxp

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

如题，我的训练数据中，dst确定是带着眼镜的，src有的戴眼镜（人员一），有的不戴眼镜（人员二）
已经下载了万能遮罩，目的是为了训练后在deepfacelive中应用，因此要将遮罩数据写入dst或src中进行训练


那么，我训练的时候，该如何使用遮罩呢，我理解的是加入遮罩后，眼镜就不参与训练，那在合成的时候会保留哪个眼镜呢？

对于人员一，比如我dst数据使用了遮罩，src没有使用遮罩，用的原始数据，这种训练后合成是保留了src的眼镜吗？
对于人员二，不戴眼镜的情况，是不是训练后合成也会没有眼镜？
如果我的理解有误，应该如何写遮罩数据呢？
以上，请各位大佬指教，谢谢！

seancai110

既然你已经下了万能遮罩，那么就不涉及训练遮罩模型的事情。我就只讲重点：训练的时候，SRC图片写入遮罩，DST不要写入遮罩，然后参数里遮罩内训练要选上。这样训练的时候，就能排除src的眼镜。然后，在合成的时候，再使用XSEG遮罩，漏出dst的眼镜。

原理就是，如果有一个部位SCR和DST都用了遮罩排除掉，那么这个位置就不会得到正确训练，结果就是像背景一样跑偏，变得一团乱。所以SRC和DST要有一个是全脸，来拉住模型不跑偏。

q635809224

引用一下别的帖子里的回复：

SRC 有眼镜，你想去掉眼镜，那SRC就要眼镜上画遮罩。但如果你想保留SRC的眼镜，就不要画。
反之，DST 有眼镜，你想保留眼镜，那么你必须眼镜画遮罩，但如果你不想要DST的眼镜，就不要画。

遮罩其实就是一个替换区域，你所绘制的区域内的东西被替换或者被保留，SRC的遮罩就是只训练画了遮罩内的内容，dst的遮罩就是只替换画了遮罩内的内容，就是你用一条封闭的多段线来告诉软件，我就训练或者替换掉我用多段线框选的内容。

ccctttccct

q635809224 发表于 2023-6-6 21:01
引用一下别的帖子里的回复：

SRC 有眼镜，你想去掉眼镜，那SRC就要眼镜上画遮罩。但如果你想保留SRC的眼镜 ...

错误的理解。因为遮罩有两种画法，一种是去掉，一种是留下

q635809224

ccctttccct 发表于 2023-6-6 21:06
错误的理解。因为遮罩有两种画法，一种是去掉，一种是留下

大佬，可以教我一下正确的理解吗

ccctttccct

q635809224 发表于 2023-6-6 21:07
大佬，可以教我一下正确的理解吗

你自己去画一下就知道了

q635809224

ccctttccct 发表于 2023-6-6 21:14
你自己去画一下就知道了

谢谢大佬

q635809224

seancai110 发表于 2023-6-6 21:14
既然你已经下了万能遮罩，那么就不涉及训练遮罩模型的事情。我就只讲重点：训练的时候，SRC图片写入遮罩，D ...

哇 学习了

zongxp

seancai110 发表于 2023-6-6 21:14
既然你已经下了万能遮罩，那么就不涉及训练遮罩模型的事情。我就只讲重点：训练的时候，SRC图片写入遮罩，D ...

我的理解是：src和dst只选一个用遮罩，如果src用了遮罩，相当于排除了src的眼镜，合成的时候露出dst的眼镜，如果dst用了遮罩，相当于排除了dst的眼镜，合成的时候露出src的眼镜，请问是否正确？

zongxp

ccctttccct 发表于 2023-6-6 21:06
错误的理解。因为遮罩有两种画法，一种是去掉，一种是留下

我用的是论坛中的万能遮罩，这个模型对应的是去掉的效果吧，空格键查看的时候眼镜部分是黑色的