为什么虚拟内存占用高的恐怖，但是物理内存都空着呢？

gagagagaga

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

之前趁着黑色星期五，买了两条内存，给扩了个容

结果今天训练发现，依然疯狂的吃虚拟内存，物理内存空着一大堆，就是不用
这是什么道理啊，有没有办法让训练多吃点物理内存呢

wtxx8888

WINDOWS下，超多的软件，会无视你物理内存的多寡，部分数据，会强制使用虚拟内存。
尤其是载入数据那流程，大多数，等待使用的数据，都是装在虚拟内存里的。
这是为了，节省物理内存，尽可能的，让运算数据，去使用物理内存。

昨天刚跟其他人说完，DFL的python，多线程下，强制使用虚拟内存。
所以，你物理内存多少，也不好使。
CPU线程越多，虚拟内存耗量越大，之前有个撕裂者的机器，物理内存有128G，但虚拟内存，加到了800多G，才好使。

gagagagaga

wtxx8888 发表于 2024-12-1 15:39
WINDOWS下，超多的软件，会无视你物理内存的多寡，部分数据，会强制使用虚拟内存。
尤其是载入数据那流程， ...

顶不住，看看能不能把内存退了，虽然是打折，还是挺贵的（

zhou041234

wtxx8888 发表于 2024-12-1 15:39
WINDOWS下，超多的软件，会无视你物理内存的多寡，部分数据，会强制使用虚拟内存。
尤其是载入数据那流程， ...

那意思是说还不能太多线程了?

wtxx8888

zhou041234 发表于 2024-12-19 05:11
那意思是说还不能太多线程了?

嗯，不然你上个线程撕裂者，就知道128线程，是不是，需要800多G的虚拟内存，才能运行DFL。
这哥们的机器，有物理内存128G.

我的机器12线程，需要大概50多，不到60G的虚拟内存。
而物理内存32G，就在那瞪眼，只用了不到三分之一。

DFL，就不用物理内存。你能咋地？

zhou041234

wtxx8888 发表于 2024-12-19 12:26
嗯，不然你上个线程撕裂者，就知道128线程，是不是，需要800多G的虚拟内存，才能运行DFL。
这哥们的机器 ...

那确实没办法,那就搞个中端的