【用时间换显存】RG版DFL（解压即用）

suninsea · 发表于 2021-9-8 09:40:24

感谢分享，这个好多可能性

dkrhfk · 发表于 2021-9-8 09:43:06

好东西当然要买了

yangala · 发表于 2021-9-8 09:48:37

lispmox 发表于 2021-9-8 08:14
你现在试试，我不太熟悉权限设置

嗯嗯，现在能看到内容了，很了不起的工作

tmpuser_01 · 发表于 2021-9-8 09:53:59

学习学习哈

夢生若汐顔 · 发表于 2021-9-8 10:07:11

你可以直接全都是设置附件收费，主题收费别人看不到的所有内容

yangala · 发表于 2021-9-8 10:16:56

想了想还是买了，省点显存还能干点别的事呢

suhgnksg · 发表于 2021-9-8 10:22:28

又测试了一下，256 wf liae-ud 256 64 64 22 BS6 1660s（6g显存 win10系统）可以开启，目前看，有一定作用，但是很不稳定，有些高参即使开起来了，过会也会爆显存，还是请楼主说明一下正确用法比较好

lispmox · 发表于 2021-9-8 11:03:18

本帖最后由 lispmox 于 2021-9-8 11:12 编辑

suhgnksg 发表于 2021-9-8 10:22
又测试了一下，256 wf liae-ud 256 64 64 22 BS6 1660s（6g显存 win10系统）可以开启，目前看，有一定作用 ...

能详细说说吗，我用你的参数跑了一下并没有出现显存突然溢出的情况。

如果显存有限，建议把 place models and optimizer on GPU 设为no。训练时模型权重+梯度+优化器状态也需要消耗存储空间，大概是模型权重的3-4倍。你现在这个参数 “256 wf liae-ud 256 64 64 22” 模型权重就有554M，优化器状态有1.08G，加上梯度以及元信息耗费的空间，大概有3G左右的显存用于存模型不能用于计算（不一定准确，3G是用pytorch加载等价模型后看nvidia-smi得到的）。如果显存比较大，这点占用可以忽略不记，小显存可能就要省着点用了。

zz12443300zz · 发表于 2021-9-8 12:13:25

好东西直接买了

1111111 · 发表于 2021-9-8 12:36:37

感谢分享

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

【用时间换显存】RG版DFL（解压即用）

荣誉会员勋章

小有贡献勋章

万事如意节日勋章

隐世金马甲勋章

超级版主勋章

可爱萌新勋章

见习版主勋章

男同管理员-无尚荣耀勋章

优质版主勋章

爱心勋章