萌新求助：SAEHD 训练报错，以下是部分报错内容

wanghao

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

File "D:\Fake工作间\DeepFaceLab_NVIDIA_08_02_2020CN\_internal\python-3.6.8\lib\site-packages\tensorflow\python\feature_column\feature_column_lib.py",line 23, in <module>
fromtensorflow.python.feature_column.feature_column_v2 import *
File"<frozen importlib._bootstrap>", line 971, in _find_and_load
File"<frozen importlib._bootstrap>", line 955, in_find_and_load_unlocked
File"<frozen importlib._bootstrap>", line 665, in _load_unlocked
File"<frozen importlib._bootstrap_external>", line 674, inexec_module
File"<frozen importlib._bootstrap_external>", line 771, in get_code
File"<frozen importlib._bootstrap_external>", line 482, in_validate_bytecode_header
MemoryError


这贴子已经没什么意义了，但凡看到“MemoryError”这个字样的，就往低了调参数吧。

solobabbit

1.检查显卡驱动，更新显卡驱动
2.是不是参数过高导致了显存不够，内存来凑，但内存也不够

暂时想到这些

wanghao

solobabbit 发表于 2021-2-25 08:56
1.检查显卡驱动，更新显卡驱动
2.是不是参数过高导致了显存不够，内存来凑，但内存也不够

多谢解答！！调低了参数能跑起来了，但是再次启动还是会有显存不足这样的报错，报错后还能接着跑。不知道是什么原因？
加载实例: 100%|#####################################################################| 620/620 [00:01<00:00, 352.55it/s]
2021-02-24 20:08:43.453713: E tensorflow/stream_executor/cuda/cuda_driver.cc:806] failed to allocate 1.36G (1462134272 bytes) from device: CUDA_ERROR_OUT_OF_MEMORY: out of memory

solobabbit

wanghao 发表于 2021-2-25 09:11
多谢解答！！调低了参数能跑起来了，但是再次启动还是会有显存不足这样的报错，报错后还能接着跑。不知道 ...

如果开了place the mold on the GPU就关了它，应该就不会报错了。但是会牺牲30%~~40%的迭代速度。

如果这个参数之前是关了的，那就只有继续调低BS或者调低参数了

wanghao

solobabbit 发表于 2021-2-25 09:28
如果开了place the mold on the GPU就关了它，应该就不会报错了。但是会牺牲30%~~40%的迭代速度。

如果 ...

之前是开的，回头我试一下

wanghao

wanghao 发表于 2021-2-25 09:41
之前是开的，回头我试一下

今天更新了显卡驱动，SAEHD彻底不行了，卡在参数设置完成初始化模型那里，之前显卡改过什么东西，彻底忘记了

haiou_f

估计调低bs值就行

wanghao

更新驱动后CUDA有问题，已解决，不过硬件确实也就能拿来随便玩玩，参数稍大一点就跑不成

wanghao

自顶一个，见证成长，顺水丹

poiu88

以前我以为我知道，但我不确定我知道，
后来我确定了我知道，也确定了不知道，
知道不知道，知不到。