关于masked_training

lknet

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

发现开着或是关着,迭代速度都是一样的,初步判断遮罩内清晰度也没有变化.那么打开masked_training的话,牺牲了什么又得到了什么呢?
懂的老哥讲讲.

Mrdeepfake

学习复杂的东西需要更多的自由度。不开masked training，会从模型花费额外的自由度学习复杂的背景。这样造成的后果，一来当然是loss值急剧上升，二来是训练收敛速度显著变慢，三来当然是允许模型学习的最高清晰度上限降低（除非你模型参数非常之高，有足够多的自由度）。第三点换句话说，就是要最终达到相同的清晰度上限，你训练素材的总数目上限必须也要降低，比如由原来的10000张降低至5000张。当然，失之东隅，收之桑榆。关闭 masked training 虽然会降低模型可学到的清晰度上限，但它背景比开启“背景学习”学得更好啊！这就属于 DFL 高端玩法范畴了。

fghfdg

开着的话就只训练遮罩内的东西。我有一个模型训练一个新的dat图集，如果开着masked_training第一次保存的时候dat的loss就已经是0.3了，如果我不开masked_training第一次保存的时候dat的loss会接近1.0。那么如果是训练相同时常，除了masked_training以外其他参数不变的话，开着masked_training训练dat的loss会降低得更多。
但是如果你的遮罩不太行，推理的不好，或者是dst和src脸型相差很大而且dst的人物是鲢鱼须的发型，开着masked_training那么头发外面的人脸部分会训练不到。还有一种情况就是你的遮罩不太行，推理的不好，或者是src有些图片有遮挡物体（例如像刘海）不开masked_training有可能会把刘海也训练到dst上，这样你合成的时候额头就会有一坨黑色的

zsgdfl2023

简单解释就是，开了只训练脸，不开整张图全训，你怎么选呢？

hhgg2277

所以问问大佬们，开masked training，前提是不是要先把素材写入遮罩，如果不写入的话，开不开这个就没意义了？

tellmewhatsup

没变化？不可能吧，关闭遮罩训练，明显LOSS变高了，也就意味着训练周期变长了。

WaveBedo

楼主，你好啊

我发觉关闭masked_training跑一段之后，
再开masked_training，回到之前的设置，loss会变高不少
也就是之前的部分训练可能被作废了，
为了减少作废，我想搞清楚关闭、重开masked_training的恰当时机，应该是什么时候？

是不是应该在关闭扭曲之后会好一点
另外，如果在扭曲，后期阶段，关闭masked_training，会不会把刘海也学过来，造成额头黑？