请教老师们，怎么判断模型是否要崩

zhuyadong

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

第一天
第二天
第三天

连续三天的训练，这种算是崩了吗？我感觉这就是个逐渐发展的。


各位老师，模型的这个“崩”是一开始就有的吗？我们只不过只在控制他不让其发展，还是尽量赶在不发展到一定程度之前我们就要把模型训练成。要是这样就是说最终的结果都是崩，就是程度不同？
如果不是这样，是不是“崩”一旦开始就不可逆？那如果边缘的“崩”已经开始了是不是就早晚要发展到脸部？

lknet

这种没事,周边没有参与训练,肯定会是越来越糊的,不想看着太糊的话关掉遮罩内训练跑一小会儿给模型点数据就行了.
常见崩的原因
1,素材,整体素材质量不好或者有特别大的反差(比如全部暖色系夹杂一张冷色系)
2,某些参数变化太大,比如真脸,风格之类的,要逐步开启.
3,开gan增大崩的几率.
另外可能与极端三围参数也有关系.
这些有时候是逐步的,比如素材问题,刚开始可能就是loss的异常表现,或者某些素材局部异常,逐步扩大直到失控.
有时候是很直接的,比如真脸等参数猛然开大.经常刚开始训练就可以看出来崩了
有时候是很突然的,比如开gan,可能盯了半天没事,半夜你睡觉的时候就崩了.
当然也不是绝对的,做好素材质量,参数温柔变化,做好备份,也没那么容易崩.

zhuyadong

lknet 发表于 2023-9-24 10:45
这种没事,周边没有参与训练,肯定会是越来越糊的,不想看着太糊的话关掉遮罩内训练跑一小会儿给模型点数据就 ...

老师，谢谢您的回答。
你说的“不想看着太糊的话关掉遮罩内训练跑一小会儿给模型点数据就行了”还是没太懂

lknet

zhuyadong 发表于 2023-9-24 11:05
老师，谢谢您的回答。
你说的“不想看着太糊的话关掉遮罩内训练跑一小会儿给模型点数据就行了”还是没太 ...

masked_training 默认true改为false,意思就是把脸部以外范围的内容也参与训练.一般true就行只训练面部范围及周边一点点(大概对应你图片中不模糊的部分),不用一直false.

zhuyadong

lknet 发表于 2023-9-24 11:26
masked_training 默认true改为false,意思就是把脸部以外范围的内容也参与训练.一般true就行只训练面部范 ...

谢谢老师！同时， blur_out_mask这个参数您的建议是否打开？

htyy

按空格，人脸上没有色块高亮斑块就没问题

pengzp33

一般情况下说崩就崩 gan 学习人脸风格 背景风格这些参数开大点都容易崩 开了梯度跑 设置1小时备份一次吧 正常跑扭曲 眼 嘴极少崩

486966369

是不是你那个软件盘没空间了，我也出现过，我那个盘只有8g老是崩，后面删了很多保持30g空间没怎么见到崩，只有gan很快就崩