预训练的loss值不降反升，波动大。

天天好想你

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

正在预训练中，但是loss值降不下去了，忽高忽低，如此反复。请问各位大佬，接下来我该怎么操作？

lr_dropout这个选项在设置参数的时候，我明明选的就是Y，打开的意思。但不知道为什么开始训练以后却是显示的N！

还有GAN设置也是一样，我明明设置的是0.1。可是却一直显示0.0。反复试了好几次，一直都不行，打开不了！



              Current iteration: 1580000
==---------------- Model Options -----------------==
==                                                ==
==            resolution: 224                     ==
==             face_type: wf                      ==
==     models_opt_on_gpu: True                    ==
==                 archi: liae-udt                ==
==               ae_dims: 256                     ==
==                e_dims: 50                      ==
==                d_dims: 50                      ==
==           d_mask_dims: 16                      ==
==       masked_training: True                    ==
==       eyes_mouth_prio: True                    ==
==           uniform_yaw: True                    ==
==         blur_out_mask: False                   ==
==             adabelief: True                    ==
==            lr_dropout: n                       ==
==           random_warp: False                   ==
==      random_hsv_power: 0.0                     ==
==       true_face_power: 0.0                     ==
==      face_style_power: 0.0                     ==
==        bg_style_power: 0.0                     ==
==               ct_mode: rct                     ==
==              clipgrad: True                    ==
==              pretrain: True                    ==
==       autobackup_hour: 1                       ==
== write_preview_history: False                   ==
==           target_iter: 0                       ==
==       random_src_flip: True                    ==
==       random_dst_flip: True                    ==
==            batch_size: 8                       ==
==             gan_power: 0.0                     ==
==        gan_patch_size: 28                      ==
==              gan_dims: 16                      ==

20210901

==       eyes_mouth_prio: True                    ==
==           uniform_yaw: True
==       random_src_flip: True                    ==
==       random_dst_flip: True                    ==

丹已经练到升品阶段了，这几项可以全关了，把学习率降低打开 lr_dropout ，开始学小细节渡丹劫

天天好想你

20210901 发表于 2022-2-5 09:47
==       eyes_mouth_prio: True                    ==
==           uniform_yaw: True
==       random_ ...

lr_dropout 这个选项在设置参数的时候，我明明选的就是Y，打开的意思。但不知道为什么开始训练以后却是显示的N！反复试了好几次，一直都不行，好像打不开一样！

A335-P91

进来一起学习

poiu88

一起学习

wcw888

预训到这样可以了，接下来关闭预训开始正训吧 ！具体可以参考下风大的帖子

zqszhuce

lr_dropout 打开，慢慢提升

zqszhuce

还有两个，请定期做好备份
random_warp打开，加大模型的学习难度
GAN power 开0.1，学习细节

kaka123

关闭细节优化

天天好想你

zqszhuce 发表于 2022-2-5 11:21
还有两个，请定期做好备份
random_warp打开，加大模型的学习难度
GAN power 开0.1，学习细节 ...

我两个我都开了，但是不知道为什么GAN power却一直显示没开。反复试了好几次都不行！根本开不了，默认的打不开。