「新人」关于直播模型训练问题

selslim

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

请求各位大佬. 关于直播模型训练遮罩是不是src和dst都要提前写入还是什么时候写入呢?

例如: 我带了眼镜我想练一个自己用的直播模型. src 是不带眼镜的. 我想后面deepfacelive把我眼镜抹掉这样

itqzja5

视频合成的习惯操作是合成阶段调整遮罩
直播丹不一样的
要训练之前dst和src都要写入,否则系统可能给src分配F脸的默认遮罩,也就是说额头部分训练不到.

DST戴眼镜,SRC不带,要求DST换完脸不带眼镜,这么弄:
1.DST写入眼镜遮罩(这不是正常的扣掉眼镜那种,你这种情况是相反的,你的DST脸部遮罩画的时候,要把你的眼镜框和眼镜片都要实线画进去,让模型认为眼镜是DST脸的一部分,带着眼镜去匹配学习SRC的脸),且要求现实中眼镜框尽量不是亮金属反光那种,直播时镜片和镜框要尽量不出现反光情况,否则容易穿帮,例如处理不好会出现眼镜人物翻白眼,眼镜框和片没了,但眼镜腿还在等怪异现象
2.SRC正常写个WF遮罩就行(前提是SRC不带眼镜,一张眼镜都没有)

注意事项:
1.如果可以,直播时DST带个无镜片眼镜或者纯墨镜最好
2.原则上眼镜遮罩除透明眼镜只画镜框,有色眼镜要连镜片全扣掉,但是大多数眼镜并不是0透,所以半透明的不管什么色只去除镜框就好了,因为直播时你的DST转头到某一角度时,镜片因为反光或者其他原因确实0透了,那么模型会把镜片当成遮挡物来处理,

其他情况:
如果直播时DST带着近视(缩小镜),老花(放大镜),这会导致镜片后的脸和周边的脸部轮廓有断层,懂得都懂.如果不处理好会出现各种灵异画面,比如镜片后的DST翻白眼,镜框边缘接驳处跳闪,镜片后的脸凹陷等,想实现无破绽戴眼镜直播就要对训练方法做一下小手脚,每人的处理方法都不一样,我就不在这找喷了.聪明如你,开动脑筋,一定可以处理好的

selslim

itqzja5 发表于 2024-5-11 11:48
视频合成的习惯操作是合成阶段调整遮罩
直播丹不一样的
要训练之前dst和src都要写入,否则系统可能给src分配 ...

很详细感谢~

因为是近视所以带着眼镜. 可以分享一个小手脚方案我吗?

itqzja5

selslim 发表于 2024-5-11 13:07
很详细感谢~

因为是近视所以带着眼镜. 可以分享一个小手脚方案我吗? ...

抱歉哈,刚才的回答不明确,怕你误解遮罩的画法  ,已做详尽解释 ,希望能帮到你