关于遮罩问题，求大佬解惑

d199591923

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

SRC和DST都是带有眼镜的，我想保留DST的眼镜，那我是要画DST的遮罩，然后SRC也要画眼镜的遮罩吗？或者是我DST不画遮罩，然后SRC画遮罩把眼镜腿一起带上，训练把SRC的眼镜直接全搬过去？
我理解的遮罩公式:①SRC无眼镜➕DST有眼镜➕DST眼镜遮罩＝SRC戴眼镜  
                             ②SRC有眼镜➕DST无眼镜➕SRC眼镜遮罩＝SRC摘眼镜
                             ③SRC有眼镜➕DST有眼镜➕SRC眼镜遮罩➕DST眼镜遮罩＝SRC带着DST的眼镜

还有用了一个50W迭代的遮罩做底训练保存需要很久的时间，是正常现象吗？

z6163727

你裡解的是對的

SRC的遮罩是把 SRC臉已外的的刪除只留要的臉
(比如刪掉眼鏡，比如直播時加特效的臉上有顆小愛心，比如麥克風)

DST遮罩是把 臉以外(不要被換)的東西保留，
遮照白的地方會被刪掉變成src而遮照外黑色的則是保留，

懶得找眼鏡的範例 下面是我玩黑色妝系 嘴唇跟眼妝的遮罩   眼妝的部分跟眼鏡差不多意思
合成後是誰不重要  因為我也沒訓練幾分鐘，只是測試一下嘴能不能貼合  效果還不錯

然後保存久正常的

分別是遮罩  dst    與合成效果

d199591923

野生炼丹师 发表于 2023-7-11 15:58
如果SRC所有素材都是有眼镜的，根本去不干净

用遮罩训练可以去掉啊，这就是遮罩的作用

fzddn1

我也想知道这个问题如何解决

d199591923

z6163727 发表于 2023-7-11 09:29
你裡解的是對的

SRC的遮罩是把 SRC臉已外的的刪除只留要的臉

感谢大佬，那我算是搞懂了！

student

d199591923 发表于 2023-7-11 09:34
感谢大佬，那我算是搞懂了！

我也被你的问题搞懵掉了，你的意思是dst和src 是要准备2套不同的遮罩吗？还是说同一套遮罩应用上去就是不同的结果呢？

d199591923

student 发表于 2023-7-11 10:39
我也被你的问题搞懵掉了，你的意思是dst和src 是要准备2套不同的遮罩吗？还是说同一套遮罩应用上去就是不 ...

额，训练遮罩的时候如果DST和SRC都画有遮罩，模型会一起训练的。不用分开

野生炼丹师

如果SRC所有素材都是有眼镜的，根本去不干净

seancai110

d199591923 发表于 2023-7-11 16:14
用遮罩训练可以去掉啊，这就是遮罩的作用

练多了之后，画了遮罩也没用。
遮罩只是在最后loss计算和梯度下降的时候不考虑遮罩外的内容而已。但是眼镜的像素还是输入进了模型。久而久之，遮罩外的内容还是会被练出来的。必须要有全脸无遮挡的图拉住模型。

d199591923

seancai110 发表于 2023-7-11 16:21
练多了之后，画了遮罩也没用。
遮罩只是在最后loss计算和梯度下降的时候不考虑遮罩外的内容而已。但是眼 ...

啊，是这样吗？我理解是遮罩写入SRC后，训练模型的时候，遮罩部分不是不会被计算到吗？