要怎么训练才能把gpu跑满？缩短训练时间

linfengmushu

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

显存基本跑满了，但是gpu有一半时间都是闲着的。

请教论坛大佬，要怎么调整参数，才能把gpu也跑满，缩短训练时间

现在用的参数：

================= Model Summary ==================
==                                              ==
==            Model name: WA_AMP                ==
==                                              ==
==     Current iteration: 4922292               ==
==                                              ==
==--------------- Model Options ----------------==
==                                              ==
==            resolution: 224                   ==
==             face_type: wf                    ==
==     models_opt_on_gpu: True                  ==
==               ae_dims: 256                   ==
==            inter_dims: 1024                  ==
==                e_dims: 64                    ==
==                d_dims: 64                    ==
==           d_mask_dims: 22                    ==
==          morph_factor: 0.5                   ==
==           uniform_yaw: False                 ==
==         blur_out_mask: True                  ==
==            lr_dropout: n                     ==
==           random_warp: True                  ==
==               ct_mode: rct                   ==
==              clipgrad: False                 ==
==       autobackup_hour: 0                     ==
== write_preview_history: False                 ==
==           target_iter: 0                     ==
==       random_src_flip: False                 ==
==       random_dst_flip: False                 ==
==            batch_size: 32                    ==
==             gan_power: 0.0                   ==
==        gan_patch_size: 28                    ==
==              gan_dims: 16                    ==
==    retraining_samples: True                  ==
==       masked_training: True                  ==
==             eyes_prio: False                 ==
==            mouth_prio: False                 ==
==         loss_function: SSIM                  ==
==             adabelief: True                  ==
==      random_hsv_power: 0.05                  ==
==     random_downsample: False                 ==
==          random_noise: False                 ==
==           random_blur: False                 ==
==           random_jpeg: False                 ==
==         random_shadow: none                  ==
==      background_power: 0.02                  ==
==          random_color: True                  ==
==              use_fp16: False                 ==
==               cpu_cap: 8                     ==
==       preview_samples: 4                     ==
==    force_full_preview: False                 ==
==                    lr: 5e-05                 ==
==          session_name:                       ==
==     maximum_n_backups: 24                    ==
==         gan_smoothing: 0.1                   ==
==             gan_noise: 0.0                   ==
==            preview_mf: 0.5                   ==
==                                              ==
==----------------- Running On -----------------==
==                                              ==
==          Device index: 0                     ==
==                  Name: Tesla V100S-PCIE-32GB ==
==                  VRAM: 30.27GB               ==
==                                              ==
==================================================

[01:32:09][#4922573][1788ms][0.3812][0.3176]

yinshan2024

跑出来分享下看看，另外你的gup已经跑满了吧，是在等CPU的运算。估计你的CPU不行。

weyer

看你这图已经是跑慢了 中间停顿是等待其他任务 比如CPU跟不上等

amani153

你这个配置，bs可以跑64吧

别看我我不在

yinshan2024 发表于 2024-5-27 01:41
跑出来分享下看看，另外你的gup已经跑满了吧，是在等CPU的运算。估计你的CPU不行。 ...

你这样说，我总算知道为啥 我的显卡总是会停顿了。显卡风扇都懒得转的

linfengmushu

amani153 发表于 2024-5-27 14:42
你这个配置，bs可以跑64吧

你看那个图，显存100%了，加一点就oom了

ww6er

你这是在服务器上面跑的吗？