【用时间换显存】RG版DFL（解压即用）

snyhgzc · 发表于 2021-9-15 13:51:33

刚买了想问问30系显卡能用吗

zz12443300zz · 发表于 2021-9-15 23:12:43

测试结果，2060跑320 wf df-ud 384-92-72-22开了gpu跑不了，不开gpu 2400ms迭代一次

xizeer · 发表于 2021-9-15 23:34:22

谢谢楼主分享

hu609047601 · 发表于 2021-9-16 08:08:40

感谢分享

无绝期 · 发表于 2021-9-16 09:24:31

一眨眼涨价了

0mipc · 发表于 2021-9-16 10:10:47

支持技术贴，大佬有空多多分享

petrel · 发表于 2021-9-16 11:27:18

看起来很牛，可是不知道好不好用

bug4dfldata · 发表于 2021-9-16 11:39:36

本着想学习一下态度，解压包里没找到recompute.ipynb文件！

lispmox · 发表于 2021-9-16 14:22:04

bug4dfldata 发表于 2021-9-16 11:39
本着想学习一下态度，解压包里没找到recompute.ipynb文件！

可以参考一下源代码core/leras/nn/__init__.py开头一段。主要思路就是在生成求梯度的计算图时，重新计算一下前向传播的值。因为tensorflow1.x是静态图调度，会自动帮你释放用不到的中间结果，所以可以节省内存。如果是tensorflow2.x的eager模式，需要用GradientTape管理需要监控的张量，代码略有区别，建议直接看自带的tf.recompute_grad实现。

bug4dfldata · 发表于 2021-9-16 15:37:34

lispmox 发表于 2021-9-16 14:22
可以参考一下源代码core/leras/nn/__init__.py开头一段。主要思路就是在生成求梯度的计算图时，重新计算 ...

谢谢！我把nn.py过了一遍。原理还蛮简单的。

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

【用时间换显存】RG版DFL（解压即用）

万事如意节日勋章

隐世金马甲勋章

荣誉会员勋章

小有贡献勋章