过多素材出现OOM

Torres132

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

我数天前在淘宝购买一个saehd模型在测试的时候dst 大概1000张素材 batch size 4可正常使用
但在正式上素材的时候(50000多张) 却出现OOM ERROR
要把bs降到1才可以
想问一下正常情况下素材数量会影响显存占用？
有没有甚么分法可解决 谢谢
显卡是3070ti
模型如下
================= Model Summary =================
==                                             ==
==            Model name: 384dfudwf_SAEHD      ==
==                                             ==
==     Current iteration: 4300448              ==
==                                             ==
==--------------- Model Options ---------------==
==                                             ==
==            resolution: 384                  ==
==             face_type: wf                   ==
==     models_opt_on_gpu: True                 ==
==                 archi: df-ud                ==
==               ae_dims: 256                  ==
==                e_dims: 64                   ==
==                d_dims: 64                   ==
==           d_mask_dims: 22                   ==
==       masked_training: True                 ==
==             eyes_prio: False                ==
==           uniform_yaw: False                ==
==            lr_dropout: n                    ==
==           random_warp: True                 ==
==             gan_power: 0.0                  ==
==       true_face_power: 0.0                  ==
==      face_style_power: 0.0                  ==
==        bg_style_power: 0.0                  ==
==               ct_mode: none                 ==
==              clipgrad: False                ==
==              pretrain: False                ==
==       autobackup_hour: 0                    ==
== write_preview_history: False                ==
==           target_iter: 0                    ==
==           random_flip: True                 ==
==            batch_size: 14                   ==
==             adabelief: False                ==
==                                             ==
==---------------- Running On -----------------==
==                                             ==
==          Device index: 0                    ==
==                  Name: Tesla P100-PCIE-16GB ==
==                  VRAM: 15.90GB              ==
==                                             ==
=================================================

awaaat

官方原版指南提到，bs最少为2，你这个调整即使跑起来可能也失去意义了

poiu88

3070ti 那么垃圾？

Torres132

poiu88 发表于 2021-7-10 22:38
3070ti 那么垃圾？

對 可能是顯存太少的關係

CrazyMage

也有可能是抽风

Torres132

CrazyMage 发表于 2021-7-10 23:23
也有可能是抽风

甚麼是抽風？

CrazyMage

Torres132 发表于 2021-7-10 23:32
甚麼是抽風？

玄学 说不定重启下就好了，我也遇到过，后来我就放弃了  好丹那么多  不必强求

Torres132

CrazyMage 发表于 2021-7-10 23:47
玄学 说不定重启下就好了，我也遇到过，后来我就放弃了  好丹那么多  不必强求 ...

有丹推荐吗？
我现在那个四百多万 不想放弃

lalakia2012

人家3090都只是走256，你凭神什么走384？
新鸟就是新鸟！

haiou_f

调节一下占用显存大的参数，比如只开随机扭曲，别开ABAB、gan、学习率，bs由高到底逐个尝试