16G显存训练512wf的模型报错显存不足 是不是哪里设置不对

dimsum

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

如题，求助大佬们




Error: 2 root error(s) found.
  (0) Resource exhausted: OOM when allocating tensor with shape[1024,130,130] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
         [[node Pad_15 (defined at E:\DFL\aDFL_maozhihanhua_RTX3000\_internal\DeepFaceLab\core\leras\layers\Conv2D.py:87) ]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info. This isn't available when running in Eager mode.

wjw5201314

你这个出现了OOM.....用iyuandou大佬的解释来说明一下

如果遇到OOM错误，则意味着您的VRAM即将用尽，可以更改各种设置来解决此问题：
a）减少批次大小-较低的批次大小意味着模型在较少的图像上进行训练，因此使用较少的VRAM，但这意味着与达到较高的批次大小相比，您将需要更长的训练时间才能达到相同的结果，例如2-4的极低批次大小也会导致结果准确性降低。
b）更改优化器设置（models_opt_on_gpu）-设置为True时，优化器和模型均由GPU处理，这意味着更快的迭代时间/性能/更快的训练，但VRAM使用率更高；如果设置为False，则将处理运行网络优化器的职责通过CPU进行操作，这意味着较少的VRAM使用量，可能没有OOM，甚至可能的批处理量更大，但是由于迭代时间较长，因此训练速度会变慢。
c）关闭其他功能，例如面部和bg样式转换，TrueFace训练，GAN训练或性能沉重的CT方法（如SOT-M）-使它们增加迭代/训练时间并使用更多的VRAM。


用aaa2002911大佬的解释来说明一下
oom  显存不足
注意看软件错误界面，单凡是出现了oom字样，说明是显存不足。降低参数可解决（配置不同，请量力而行）设置上，因为局限性大，简单说下
打开模型训练界面，选择模型，选择显卡出现 两秒内按enter重新设置模型参数，这个时候按回车，可以多按几次，设置有个批量大小，英文版本是batch-size   这项，暂时设置2.后面根据你自己的设置，如果可以运行，关闭再改，一次2往上加直到再次报错，报错前最后一次设置的数字就是你的显卡能承受的数值。如果设置成2都运行不起来，还是放弃这个模型吧，后面开效果更不能用PS，应要求加上一段详细解释。oom的原因主要是因为显存不足，但是具体因数很多，比如用的模型三围参数比较大，开了AB优化器，开了gan参数，开了真实，开了人脸风格，等等都会引起。
具体解决方式：不管英文版本还是中文版本，模型尽量选择自己显卡能支持的。就是说，模型小点的。三围参数低点的。把AB优化器关闭，gan参数到颜色转移模式这中间所有的参数设置全部0. 如果不嫌慢的话，可以吧，是否将优化器加载到GPU这项关闭。
如果不想换丹，参数全部关闭，小BS还oom的话，换显卡吧

dimsum

----------------------模型选项----------------------

            resolution: 256
             face_type: wf
     models_opt_on_gpu: True
                 archi: liae-ud
               ae_dims: 256
                e_dims: 64
                d_dims: 64
           d_mask_dims: 22
       masked_training: True
       eyes_mouth_prio: False
           uniform_yaw: False
         blur_out_mask: False
             adabelief: True
            lr_dropout: n
           random_warp: True
      random_hsv_power: 0.0
       true_face_power: 0.0
      face_style_power: 0.0
        bg_style_power: 0.0
               ct_mode: none
              clipgrad: True
              pretrain: False
       autobackup_hour: 0
write_preview_history: False
           target_iter: 0
       random_src_flip: False
       random_dst_flip: False
            batch_size: 4
             gan_power: 0.0
        gan_patch_size: 32
              gan_dims: 16


设置是这样的，256可以，512就不行，BS4已经很低了吧，按理说16g显存不至于啊

wjw5201314

dimsum 发表于 2023-8-15 13:49
----------------------模型选项----------------------

            resolution: 256

【老鸟进阶】训练参数详解
https://dfldata.cc/forum.php?mod=viewthread&tid=642
(出处: deepfacelab中文网)

dimsum

wjw5201314 发表于 2023-8-15 13:56
【老鸟进阶】训练参数详解
https://dfldata.cc/forum.php?mod=viewthread&tid=642
(出处: deepfacelab中 ...

256确实够用了  我只是在想16g显存都做不到512那得多高配置才行

lyjly

dimsum 发表于 2023-8-15 14:21
256确实够用了  我只是在想16g显存都做不到512那得多高配置才行

24g可以bs8，你16g可以试一下bs2

seancai110

dimsum 发表于 2023-8-15 14:21
256确实够用了  我只是在想16g显存都做不到512那得多高配置才行

因为512分辨率不是256的两倍，是256的4倍

kenrouhel

16G就别玩512模型了，感觉384的已经是极限了

feng7902

512需要使用24G显存

Pxhpanic

512的模型32g显存都不太够收敛，更不用说你才16g的小显存了