训练预览图2列和5列全变成红白斑块是爆丹了吗？

windjet

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

请问训练时预览图的2列和5列全变成红白斑块是爆丹了吗？本来标准参数练的好好的，基本没损失了（源和目标损失都在0.1以下），就开了随机扭曲（random_warp: True）准备继续练，其它参数没变，结果前几个小时还正常，源损失到0.2左右的时候突然上升到2.2左右，同时2列和5列就全变成红白斑块了，关了再练也一样，这是模型练坏了需要从前一个备份没开扭曲的开始练好，还是接着练能转好呢？
接着开扭曲还会爆丹吗？是否是8G显卡GeForce GTX 1070太弱无法跑随机扭曲？或者是图片太多以至于无法开随机扭曲？
DST使用的是论坛里的DST全角度训练图集V3.1 WF512（2.6万张），源图片不到3千张。

红白斑块图：


以下是开了随机扭曲后的训练参数：
==---------------- Model Options -----------------==
==                                                ==
==            resolution: 256                     ==
==             face_type: wf                      ==
==     models_opt_on_gpu: False                   ==
==                 archi: df-ud                   ==
==               ae_dims: 320                     ==
==                e_dims: 96                      ==
==                d_dims: 96                      ==
==           d_mask_dims: 32                      ==
==       masked_training: True                    ==
==       eyes_mouth_prio: False                   ==
==           uniform_yaw: False                   ==
==         blur_out_mask: False                   ==
==             adabelief: True                    ==
==            lr_dropout: n                       ==
==           random_warp: True                    ==
==      random_hsv_power: 0.0                     ==
==       true_face_power: 0.0                     ==
==      face_style_power: 0.0                     ==
==        bg_style_power: 0.0                     ==
==               ct_mode: none                    ==
==              clipgrad: False                   ==
==              pretrain: False                   ==
==       autobackup_hour: 0                       ==
== write_preview_history: False                   ==
==           target_iter: 0                       ==
==       random_src_flip: False                   ==
==       random_dst_flip: False                   ==
==            batch_size: 4                       ==
==             gan_power: 0.0                     ==
==        gan_patch_size: 32                      ==
==              gan_dims: 16                      ==
==                                                ==
==------------------ Running On ------------------==
==                                                ==
==          Device index: 0                       ==
==                  Name: NVIDIA GeForce GTX 1070 ==
==                  VRAM: 6.65GB                  ==
==                                                ==
====================================================

2772403575

恭喜，炸丹了，换备份丹重新练，要是你没备份那就寄了

pasanonic

随机扭曲到0.1才开? 推荐早期开 后期关

yueyue1122

随机扭曲前期开，后期关，开扭曲时不能开GAN和真脸

ss1jw

炸丹炸的非常彻底啊 直接重新跑吧 记得调参数之前先备份

windjet

谢谢大家的回复，真的是爆单了！额外感谢pasanonic和yueyue1122的提示！如果还有人能直接回答我的问题就更好了。