训练速度问题

azrael

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

================= Model Summary ==================
==                                              ==
==            Model name: 猫之汉化神丹_SAEHD          ==
==                                              ==
==     Current iteration: 8745203               ==
==                                              ==
==--------------- Model Options ----------------==
==                                              ==
==            resolution: 256                   ==
==             face_type: wf                    ==
==     models_opt_on_gpu: True                  ==
==                 archi: df-ud                 ==
==               ae_dims: 256                   ==
==                e_dims: 64                    ==
==                d_dims: 64                    ==
==           d_mask_dims: 22                    ==
==       masked_training: True                  ==
==       eyes_mouth_prio: True                  ==
==           uniform_yaw: False                 ==
==             adabelief: True                  ==
==            lr_dropout: y                     ==
==           random_warp: False                 ==
==       true_face_power: 0.1                   ==
==      face_style_power: 0.0                   ==
==        bg_style_power: 0.0                   ==
==               ct_mode: rct                   ==
==              clipgrad: True                  ==
==              pretrain: False                 ==
==                  猫の汉化: http://t.hk.uy/4ks    ==
==                  出售仙丹: QQ564646676           ==
==       autobackup_hour: 0                     ==
== write_preview_history: False                 ==
==           target_iter: 0                     ==
==       random_src_flip: False                 ==
==       random_dst_flip: True                  ==
==            batch_size: 48                    ==
==             gan_power: 0.0                   ==
==        gan_patch_size: 16                    ==
==              gan_dims: 16                    ==
==        loss_optimizer: False                 ==
==            trainer_rg: True                  ==
==         blur_out_mask: True                  ==
==      random_hsv_power: 0.01                  ==
==          skin_texture: False                 ==
==                    lr: 5e-05                 ==
==               version: V3                    ==
==                                              ==
==----------------- Running On -----------------==
==                                              ==
==          Device index: 0                     ==
==                  Name: NVIDIA A100-SXM4-40GB ==
==                  VRAM: 37.67GB               ==
==                                              ==
==================================================
这是配置。src和dst都用的1024的
主机是租用的GPU服务器，CPU 48核，内存96G GPU A100 40G，但是在训练的时候，发现GPU占用率出现了90%→0→90%的循环，而且训练速度平均在700ms左右，显存占用17986G（BS在12的时候也是这个显存），不知道这个是不是正常的，我感觉有点问题。之前用4090训练，BS在8的时候可以到150ms左右，参数一样。不知道现在的情况具体是什么问题，哪位大佬可以帮忙解决一下？

a18367774619

我猜的会不会是你用这个显卡跑这个模型性能过剩 吕布骑狗 显卡性能跑不满啊

jinjin

a18367774619 发表于 2025-12-3 18:00
我猜的会不会是你用这个显卡跑这个模型性能过剩 吕布骑狗 显卡性能跑不满啊 ...

可以用上中文字符了吗？