关于遮罩的一些问题

dfl9999

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

以前都是用镇坛之宝一键遮罩，从来没训练过万能遮罩模型，现在因为dst素材多了，万能遮罩慢慢跟不上素材要求，所以最近自己画了几万个遮罩来训练万能遮罩模型，有以下几个问题，希望热心坛友一起讨论下：

1.训练遮罩模型的时候整个aligned里面的图片都是被加载的，没有手动编辑遮罩的图片到底有没有参与训练？
2.如果都参与了遮罩模型的训练，提取遮罩aligned_xseg文件夹里面又只提取手动编辑过遮罩的图片，如果按照aligned_xseg来积累万能遮罩训练素材，aligned里面没有手动编辑遮罩的图片岂不是缺失了？原则上备份整个aligned作为xseg万能遮罩的训练素材库是不是更好一些？
3.训练人脸模型的时候，打开“训练遮罩（内人脸）”参数，模型就只训练遮罩里面的人脸，节省训练时间，但是因为万能遮罩也有画不对的时候，比如舌头或者遮挡物没抠出来，这些画错的人脸最终会影响训练效果，极端情况下会在人脸上形成黑影和彩斑，在不考虑时间成本的情况下，关掉这个参数，直接训练全图是不是更好一些？请专家解答疑惑

dhh520

我是来围观土豪的

wtxx8888

1，参与训练，以已画出的为蓝本，AI自己脑补判断，并进一步学习（迭代没画的，AI自己查找颜色分界）。
2，同上。。。
3，让AI学什么，那是你可以控制的。至于AI学了用不用（是否选为最优解），那是AI说的算，你干预不了。

吵吵污染的，那就是不懂AI的人。
所谓污染，就是AI认为，没有比它更好的了。
炼丹者的素材范围内，带某些不要的部分，如眉毛发丝等的图，属于AI被迫必须要用它，不然AI认为是无解的。
说白了，素材库内，让AI可选择的范围内，那张操作者认为不好的图，已经是AI现有记忆库内，唯一的最优解（哪怕差距巨大，也得用）。
AI训练的素材库，理论上是无限的。。。

zhengma96

极端情况下会在人脸上形成黑影和彩斑

黑影没遇到过，脸上有小范围的彩斑我倒是有经历，一般是开了颜色模式、遮罩、扭曲训练，开rct或者lct或者两者之间切换的时候出现，关遮罩训练全脸能缓解甚至消除彩斑。

在不考虑时间成本的情况下，关掉这个参数，直接训练全图是不是更好一些？

在我看来训练全图确实应该更好一些，但时间成本不得不去考虑，我试过开全脸，下降太慢了，想出效果感觉得论年挂机。

其实我觉得只要舌头在嘴里，嘴型张的不是很大，舌头没有吐出来遮挡牙齿，也不必单独把舌头抠出来，万能遮罩256分辨率，放到舌头上，也分不到多少像素，感觉效果一般。

dfl9999

那我还是跑全图吧，其实也没多出很多时间

dfl9999

wtxx8888 发表于 2024-9-21 00:20
1，参与训练，以已画出的为蓝本，AI自己脑补判断，并进一步学习（迭代没画的，AI自己查找颜色分界）。
2， ...

那我还是跑全图吧，其实也没多出很多时间，256的小模型跑的飞快

dfl9999

zhengma96 发表于 2024-9-21 00:53
黑影没遇到过，脸上有小范围的彩斑我倒是有经历，一般是开了颜色模式、遮罩、扭曲训练，开rct或者lct或者 ...

论年挂机不至于，我现在就开的全脸，200多万loss就下到1.2了

wtxx8888

dfl9999 发表于 2024-9-21 00:57
那我还是跑全图吧，其实也没多出很多时间，256的小模型跑的飞快

比较简单的例子，比如用纯女丹练男人，那男人最初肯定带口红，带眼影之类的女人妆，因为现有记忆库内，只有女人的数据（唯一最优解）。

zhengma96

dfl9999 发表于 2024-9-21 01:01
论年挂机不至于，我现在就开的全脸，200多万loss就下到1.2了

我模型320wf 384 96 96，2080ti降频跑，慢的很，模型小显卡好肯定快，但我没那条件，一家之言仅供参考吧。

dfl9999

wtxx8888 发表于 2024-9-21 01:05
比较简单的例子，比如用纯女丹练男人，那男人最初肯定带口红，带眼影之类的女人妆，因为现有记忆库内，只 ...

如果是喜欢男娘的男人，换的dst男有口红、眼影、脸妆之类的，岂不正中他下怀