①模型遮挡效果和②DST选取问题

w7315511

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

①这种黑白和半脸的能当dst训练吗，有没有什么不妥之处
②除了画遮罩以外，特意训练带有遮挡的src或者dst哪种方式对于提升模型的遮挡效果更好呢！
特意训练带有遮挡的src是否对于模型遮挡效果有提升？（这里说的遮挡指的是除发丝之外的遮挡物，遮罩能够完美识别的遮挡物）
如果特意训练带有遮挡的src能提升模型遮挡效果的话，这特么的选src尽量无遮挡岂不是错的
③正训dst是需要很多不同的人脸还是说，只需要各种不同的角度就行对于不同人脸没有太多要求

Deannnn

你如果只是换视频的话半张脸问题不大，因为可以靠遮罩。
但是你如果要跑dfm的话建议删掉，因为半张脸通常特征点都不太对，你如果画面接近边缘的话脸就直接变形了

pasanonic

① 黑白图立体感没有彩色图强烈,特别是DF丹不要尝试,liae应该可以
     类似这样的半脸完全不需要,除非你是需要嘴巴附近的细节,这种半边脸的帧图一般是切换镜头的时候其中的一帧,完整的帧图应该是有的
②遮罩不可能完美识别,只有在正脸的时候几乎完美,带角度的识别率一般都会有些许错误需要手动修改,除非你细致到每一张都检查,修复好错误的,不过这个工作量会太大
③预训练才需要多个不同人脸,正训只需要一张脸即可,gan前备份模型,为后续换其他dst做准备,换人复用

角度这个东西,你训练前用刀哥的角度图,查看DST和SRC,差什么角度一目了然,差什么角度就通过影视剧、综艺补什么角度

w7315511

pasanonic 发表于 2024-8-15 17:35
① 黑白图立体感没有彩色图强烈,特别是DF丹不要尝试,liae应该可以
     类似这样的半脸完全不需要,除非你 ...

①:黑白和半张脸图是用来当dst的SRC是万万不敢用，用这种素材只是考虑到以后换脸可能有黑白照和半张脸图而已。黑白照考虑的是色彩问题，半张脸考虑的是遮挡问题，把半张脸当做遮挡来处理是不是有什么不合理的地方
②：第二个问题问的是那种情况对于模型的遮挡能力有提升，不管遮罩是不是能完美识别，不是还有后期合成参数调整一下嘛。
③：关于正训只需要一张脸的是出于哪里，能指路一下嘛。只听过预训练需要杂图不同人脸，默认正训也差不多这样的。我当时搞了个投票忘记搞单人DST选项了不过那么多人投票也没人提啊。我也是没想到。
dst投票

pasanonic

w7315511 发表于 2024-8-15 21:14
①:黑白和半张脸图是用来当dst的SRC是万万不敢用，用这种素材只是考虑到以后换脸可能有黑白照和半张脸图 ...

① 黑白照量少,也可以用,但想过一个问题没,黑白照的对比度?亮度?是会影响模型的,可能有的地方会产生光斑、光点.  如果你考虑遮挡问题,完全不存在,不会有影响,画好遮罩就行

② 大多数情况下写入遮罩到src,是为了遮住刘海、脸部异物,因为素材参差不齐,需要不同的图片来凑数,达到较好的作品,是不得已为之.
最完美的理想的是,原图是多角度、露额头、多表情,不写入遮罩,后期通过合成窗口预览合成效果,再去改遮罩,然后训练遮罩,以免模型受污染,但这只是理想的情况,很难实现(当然你也可以跟论坛有些大佬一样花钱请模特,搞高清、多表情、露额头、多角度、多表情的集训集),所以才会出现选src尽量无遮挡的说法.,遮罩模型的产生是为了弥补素材不足的其中一种方式.
③正训不就是开始自己制作作品了吗? 为什么要放多张人脸呢?