deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1221|回复: 10

16G显存训练512wf的模型报错显存不足 是不是哪里设置不对

[复制链接]

1

主题

8

帖子

76

积分

高级丹童

Rank: 2

积分
76
 楼主| 发表于 2023-8-15 13:22:15 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
如题,求助大佬们




Error: 2 root error(s) found.
  (0) Resource exhausted: OOM when allocating tensor with shape[1024,130,130] and type float on /job:localhost/replica:0/task:0/device:GPU:0 by allocator GPU_0_bfc
         [[node Pad_15 (defined at E:\DFL\aDFL_maozhihanhua_RTX3000\_internal\DeepFaceLab\core\leras\layers\Conv2D.py:87) ]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info. This isn't available when running in Eager mode.

回复

使用道具 举报

0

主题

44

帖子

330

积分

初级丹师

Rank: 3Rank: 3

积分
330
发表于 2023-8-15 13:37:59 | 显示全部楼层
本帖最后由 wjw5201314 于 2023-8-15 14:14 编辑

你这个出现了OOM.....用iyuandou大佬的解释来说明一下

如果遇到OOM错误,则意味着您的VRAM即将用尽,可以更改各种设置来解决此问题:
a)减少批次大小-较低的批次大小意味着模型在较少的图像上进行训练,因此使用较少的VRAM,但这意味着与达到较高的批次大小相比,您将需要更长的训练时间才能达到相同的结果,例如2-4的极低批次大小也会导致结果准确性降低。
b)更改优化器设置(models_opt_on_gpu)-设置为True时,优化器和模型均由GPU处理,这意味着更快的迭代时间/性能/更快的训练,但VRAM使用率更高;如果设置为False,则将处理运行网络优化器的职责通过CPU进行操作,这意味着较少的VRAM使用量,可能没有OOM,甚至可能的批处理量更大,但是由于迭代时间较长,因此训练速度会变慢。
c)关闭其他功能,例如面部和bg样式转换,TrueFace训练,GAN训练或性能沉重的CT方法(如SOT-M)-使它们增加迭代/训练时间并使用更多的VRAM。


aaa2002911大佬的解释来说明一下
oom  显存不足
注意看软件错误界面,单凡是出现了oom字样,说明是显存不足。降低参数可解决(配置不同,请量力而行)设置上,因为局限性大,简单说下
打开模型训练界面,选择模型,选择显卡出现 两秒内按enter重新设置模型参数,这个时候按回车,可以多按几次,设置有个批量大小,英文版本是batch-size   这项,暂时设置2.后面根据你自己的设置,如果可以运行,关闭再改,一次2往上加直到再次报错,报错前最后一次设置的数字就是你的显卡能承受的数值。如果设置成2都运行不起来,还是放弃这个模型吧,后面开效果更不能用PS,应要求加上一段详细解释。oom的原因主要是因为显存不足,但是具体因数很多,比如用的模型三围参数比较大,开了AB优化器,开了gan参数,开了真实,开了人脸风格,等等都会引起。
具体解决方式:不管英文版本还是中文版本,模型尽量选择自己显卡能支持的。就是说,模型小点的。三围参数低点的。把AB优化器关闭,gan参数到颜色转移模式这中间所有的参数设置全部0. 如果不嫌慢的话,可以吧,是否将优化器加载到GPU这项关闭。
如果不想换丹,参数全部关闭,小BS还oom的话,换显卡吧
回复 支持 反对

使用道具 举报

1

主题

8

帖子

76

积分

高级丹童

Rank: 2

积分
76
 楼主| 发表于 2023-8-15 13:49:23 | 显示全部楼层
----------------------模型选项----------------------

            resolution: 256
             face_type: wf
     models_opt_on_gpu: True
                 archi: liae-ud
               ae_dims: 256
                e_dims: 64
                d_dims: 64
           d_mask_dims: 22
       masked_training: True
       eyes_mouth_prio: False
           uniform_yaw: False
         blur_out_mask: False
             adabelief: True
            lr_dropout: n
           random_warp: True
      random_hsv_power: 0.0
       true_face_power: 0.0
      face_style_power: 0.0
        bg_style_power: 0.0
               ct_mode: none
              clipgrad: True
              pretrain: False
       autobackup_hour: 0
write_preview_history: False
           target_iter: 0
       random_src_flip: False
       random_dst_flip: False
            batch_size: 4
             gan_power: 0.0
        gan_patch_size: 32
              gan_dims: 16


设置是这样的,256可以,512就不行,BS4已经很低了吧,按理说16g显存不至于啊
回复 支持 反对

使用道具 举报

0

主题

44

帖子

330

积分

初级丹师

Rank: 3Rank: 3

积分
330
发表于 2023-8-15 13:56:44 | 显示全部楼层
dimsum 发表于 2023-8-15 13:49
----------------------模型选项----------------------

            resolution: 256

【老鸟进阶】训练参数详解
https://dfldata.cc/forum.php?mod=viewthread&tid=642
(出处: deepfacelab中文网)
回复 支持 反对

使用道具 举报

1

主题

8

帖子

76

积分

高级丹童

Rank: 2

积分
76
 楼主| 发表于 2023-8-15 14:21:31 | 显示全部楼层
wjw5201314 发表于 2023-8-15 13:56
【老鸟进阶】训练参数详解
https://dfldata.cc/forum.php?mod=viewthread&tid=642
(出处: deepfacelab中 ...

256确实够用了  我只是在想16g显存都做不到512那得多高配置才行
回复 支持 反对

使用道具 举报

22

主题

200

帖子

6289

积分

高级丹圣

网红爱好者

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6289
QQ
发表于 2023-8-15 15:25:54 | 显示全部楼层
dimsum 发表于 2023-8-15 14:21
256确实够用了  我只是在想16g显存都做不到512那得多高配置才行
24g可以bs8,你16g可以试一下bs2
土井裕樹です,网红爱好者
出售一张pcie的A100 80G和V100 32G显卡
回复 支持 反对

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12735
发表于 2023-8-15 16:25:22 | 显示全部楼层
dimsum 发表于 2023-8-15 14:21
256确实够用了  我只是在想16g显存都做不到512那得多高配置才行

因为512分辨率不是256的两倍,是256的4倍
回复 支持 反对

使用道具 举报

7

主题

388

帖子

3817

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3817
发表于 2023-8-15 16:36:43 | 显示全部楼层
16G就别玩512模型了,感觉384的已经是极限了
回复 支持 反对

使用道具 举报

10

主题

263

帖子

1703

积分

初级丹圣

Rank: 8Rank: 8

积分
1703
发表于 2023-8-15 18:37:53 | 显示全部楼层
512需要使用24G显存
回复 支持 反对

使用道具 举报

27

主题

301

帖子

2968

积分

初级丹圣

Rank: 8Rank: 8

积分
2968

万事如意节日勋章

QQ
发表于 2023-8-15 19:11:53 | 显示全部楼层
512的模型32g显存都不太够收敛,更不用说你才16g的小显存了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-24 06:52 , Processed in 0.136389 second(s), 38 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表