deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1596|回复: 20

(算已解决)大家在服务器上炼丹都是怎么解决内存不足的

[复制链接]

28

主题

302

帖子

2746

积分

初级丹圣

Rank: 8Rank: 8

积分
2746

万事如意节日勋章

QQ
 楼主| 发表于 2023-5-8 16:29:18 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 Pxhpanic 于 2023-5-18 22:11 编辑

商家不支持linux虚拟内存的设置,只能通过购买更多的gpu块数来获得更多的内存分配



有没有大佬支个招
回复

使用道具 举报

3

主题

434

帖子

2448

积分

初级丹圣

Rank: 8Rank: 8

积分
2448
发表于 2023-5-9 14:45:11 | 显示全部楼层
我在linux下没遇到过内存不足的问题啊
回复 支持 1 反对 0

使用道具 举报

28

主题

302

帖子

2746

积分

初级丹圣

Rank: 8Rank: 8

积分
2746

万事如意节日勋章

QQ
 楼主| 发表于 2023-5-9 16:10:52 | 显示全部楼层
ken2099 发表于 2023-5-9 14:45
我在linux下没遇到过内存不足的问题啊

主要30系卡以下便宜,但是只给40g内存,经常跑一会儿就oom了
30系给80以上,有点小贵但是随便跑不爆内存
回复 支持 反对

使用道具 举报

3

主题

434

帖子

2448

积分

初级丹圣

Rank: 8Rank: 8

积分
2448
发表于 2023-5-9 17:47:38 | 显示全部楼层
Pxhpanic 发表于 2023-5-9 16:10
主要30系卡以下便宜,但是只给40g内存,经常跑一会儿就oom了
30系给80以上,有点小贵但是随便跑不爆内存 ...

OOM是显存吧
回复 支持 反对

使用道具 举报

28

主题

302

帖子

2746

积分

初级丹圣

Rank: 8Rank: 8

积分
2746

万事如意节日勋章

QQ
 楼主| 发表于 2023-5-9 19:29:45 | 显示全部楼层

对的是显存,但是可以通过分配虚拟内存来解决,所以我才想去给服务器分点虚拟内存
回复 支持 反对

使用道具 举报

3

主题

434

帖子

2448

积分

初级丹圣

Rank: 8Rank: 8

积分
2448
发表于 2023-5-10 09:16:18 | 显示全部楼层
Pxhpanic 发表于 2023-5-9 19:29
对的是显存,但是可以通过分配虚拟内存来解决,所以我才想去给服务器分点虚拟内存 ...

要么你玩的太高端了,我不能理解
要么就是不存在这种可能性
倒是可以给你推荐用ME版
可以节省不少显存
回复 支持 反对

使用道具 举报

28

主题

302

帖子

2746

积分

初级丹圣

Rank: 8Rank: 8

积分
2746

万事如意节日勋章

QQ
 楼主| 发表于 2023-5-10 12:01:48 | 显示全部楼层
ken2099 发表于 2023-5-10 09:16
要么你玩的太高端了,我不能理解
要么就是不存在这种可能性
倒是可以给你推荐用ME版

我特意跑了我1650上都能跑的re224 ae256的丹都是跑非常快但是没一会儿oom了
然后换到3090 80内存的机子上跑五彩的re288 ae384开batch12都随便跑没挂过就很明显了吧,应该不关显存的事了,服务器上内存一超就给你线程杀了
感谢你的建议,但是me版还得再新搞些东西就不折腾了,我跑30系的卡就行了

回复 支持 反对

使用道具 举报

3

主题

434

帖子

2448

积分

初级丹圣

Rank: 8Rank: 8

积分
2448
发表于 2023-5-10 12:44:12 | 显示全部楼层
Pxhpanic 发表于 2023-5-10 12:01
我特意跑了我1650上都能跑的re224 ae256的丹都是跑非常快但是没一会儿oom了
然后换到3090 80内存的机子上 ...

五彩的那个纯df288非常吃显存,不是一般的288,你甚至可以把它当成512
3090是24G显存,用原版跑不了12BS很正常
没道理80G内存还不够
回复 支持 反对

使用道具 举报

28

主题

302

帖子

2746

积分

初级丹圣

Rank: 8Rank: 8

积分
2746

万事如意节日勋章

QQ
 楼主| 发表于 2023-5-10 13:14:26 | 显示全部楼层
ken2099 发表于 2023-5-10 12:44
五彩的那个纯df288非常吃显存,不是一般的288,你甚至可以把它当成512
3090是24G显存,用原版跑不了12BS ...

我给你梳理一下奥
我的意思是
我用2080ti40g内存跑我1650都能运行的丹但是oom
然后五彩288用3090 80g内存 跑12batch完全没问题
所以80g是够的,所以我没去研究me了,就用3090跑,2080放弃了
回复 支持 反对

使用道具 举报

3

主题

434

帖子

2448

积分

初级丹圣

Rank: 8Rank: 8

积分
2448
发表于 2023-5-10 13:19:08 | 显示全部楼层
Pxhpanic 发表于 2023-5-10 13:14
我给你梳理一下奥
我的意思是
我用2080ti40g内存跑我1650都能运行的丹但是oom

你的理解肯定是有问题的
我在linux下,32G的系统内存,可以跑任何丹,只要显存足够
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-9-23 12:24 , Processed in 0.128471 second(s), 11 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表