提问：【遮罩模型】关于先应用遮罩还是合成再X的问题

zero大唐

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

暂时手里没有镇坛之宝万能遮罩（这是前言）

在此基础上，我用的大力王的遮罩，每次都是要自己画一些关键帧遮罩，先训练一段时间遮罩，再去训练dst。

然后，问题出现了——当训练换脸一些大角度或者仰头之类的，或者有头发遮挡之类的图片时候（scr角度很全），就会出现误把头发丝识别成嘴眼，或者肌肉抽搐一类的事情，所以预览图成像很扭曲，很可怕，也根本无法用于合成。

那么我想问一下，我在根据滚石说的不用将遮罩模型先应用在图片上的情况下，继续迭代训练这些错误识别脸部扭曲的图像之后，可以最终识别成DST的嘴眼位置吗。简单说，就是继续训练能纠正AI识别的错误吗。（或者说，改变思路，先应用了遮罩模型到dst图片之后，能针对性改善这种情况吗？也可能不是因为DST图片有很多头发会被错误识别的问题？）

还是说，我先把dst数据画了遮罩，用大力王或者其他人的遮罩模型来训练到差不多了，应用到dst图片数据里之后，再开始迭代训练？

希望有大佬来答疑解惑，感谢。

wtxx8888

自己迭代训练不就看到效果了？

zero大唐

labels 发表于 2022-6-22 00:24
预览图扭曲是第一视野预览
你按空白键依序切换 src 和 dst 的预览图,就不会扭曲 ...

我的意思是在训练阶段，不是训练遮罩模型，是训练重型模型的时候。

smile9812

單純來學習學習~

lismo

路过帮顶

chrisliu

路过帮顶

2570699783

我也有相同的疑问，直接应用万能遮罩到DST上可能会有瑕疵。 自己画遮罩，训练时候，model里面的万能遮罩文件要先删除或者移动走吗？      还是说不用移走，我们画的遮罩会自动融入到万能模型中去。

huckshen

單純來學習學習~

hasaki7002

我是先把遮罩写入dst，src图之后，再开始训练的。我目前的理解是，如果不先写入遮罩就训练，那遮罩物就会被学习进去了。影响最终的合成效果。