关于万能遮罩模型的训练

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

其实万能遮罩模型也有训练随机色调和随机扭曲，目的就是适应更多的颜色和脸型还有遮挡物形状，不论是芒果脸、锥子脸还是方块脸，遮罩一样给你画出来，理论上训练的越久，遮罩模型就越牛逼，很多人认为只要训练到边界锐利、黑白分明就行，我不这样认为，那样只能解决你目前素材的遮罩问题，除非你用完就丢，随机扭曲是一个漫长的过程，需要保持一定强度的训练。
在镇坛之宝万能遮罩底丹的基础上，我自己又手绘了2万张遮罩，全部是针对镇坛之宝绘制错误或者遗漏的地方进行修改，逐张比对分批次加入训练，另外对舌头、口腔阴影这些模型练不出来的位置进行针对性素材挑选，光口腔舌头这部分就画了8000多张，目前的效果是，嘴部这一块模型已经是大师级别的抠图，女生舔或者吞咽什么奇怪的东西都可以完美抠出来，牙齿、嘴唇、舌头、舌尖这些容易混淆的部分模型分的很清楚，常见或者不常见遮挡物也跟着在画，只能说功夫不负有心人，实际效果提升非常可观，模型错漏的位置越来越少。根据遮罩模型的训练逻辑，只要不是故意画错遮罩，基本上遮罩模型训练过程不存在污染的情况，以后可以放心大胆的训练了

seancai110

dfl9999 发表于 2024-9-29 19:02
万能遮罩模型已经是收敛状态，大bs没有任何收益，用4是为了防止遗漏达到最好的训练效果 ...

遗漏？？？

为什么你们会有这种误解 不管是哪个深度学习的工具包，把数据跑完是最基本的好吗。bs不管是4还是40，都会把数据跑一遍。

这几天怎么开始有这种谣言，stop！

bg2kcg

上链接

pasanonic

bg2kcg 发表于 2024-9-29 07:47
上链接

上不了的，有某种风险，因为遮罩轨迹图有利益关系

星期六中午

这个万能遮罩是不是src-apply和dst-apply一下，就开始正式训练就行了是吗？
如果我是练直播丹，不经过合成阶段按X，模型里是mask-training参数控制着这个遮罩的应用是吗

DFL小白02

侧重点不一样，像我只关注SRC，难点就是头发丝，这个通过常规的遮罩直接应用解决不了，所以一般不是手绘就是PS。而你这个帖子提到的可能多数用于DST需要特殊表情效果的，不然坛宝有自己的遮罩逻辑，一般训练时用一下合成时还没发现出现奇怪的瑕疵的

fghfdg

大佬，分享一下吧

jinjin

Batch Size值为4，为何不设为8或12更高...？？？有没有力求稳定一说？是不是因为同样的训练时间，迭加值设置较小值更大更多？

dhh520

好东东，感谢分享啊

seancai110

jinjin 发表于 2024-9-29 15:13
Batch Size值为4，为何不设为8或12更高...？？？有没有力求稳定一说？是不是因为同样的训练时间，迭加值设 ...

可能是他显卡只能跑bs 4，一般来说，当然是bs越大，收敛越平滑

dfl9999

DFL小白02 发表于 2024-9-29 10:06
侧重点不一样，像我只关注SRC，难点就是头发丝，这个通过常规的遮罩直接应用解决不了，所以一般不是手绘就 ...

头发丝不可能通过手绘解决，只能ps或者其他科技手段