CPU和内存性能也对训练速度有重大影响！

zill25 · 发表于 2022-10-23 23:01:01

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 zill25 于 2022-10-23 23:46 编辑

最近我的一系列测试证明了这一点

同样一个256wf 320-88-66-22的df-ud模型
在滚石的云平台上的RTX3090 bs=4、8、16 100个迭代平均每次耗时分别为 234ms 406ms 749ms

而我自己的RTX2080Ti bs=4、8、16 100个迭代平均每次耗时分别为 221ms 376ms 711ms

QQ截图20221023223831.png

众所周知，RTX3090的运算性能要远高于2080Ti，但为什么被2080Ti反超？因为服务器的cpu的单线程性能是比较差的，特别是我选的普通性能的U还是22nm的haswell架构
我2080ti配套的是i9 13900K，超频到全核5.5G，单核最高6.2G，搭配DDR5 6800内存，在这种情况下2080Ti的性能做到了在bs=16下关闭model opt on gpu还比开着这个选项的3090快！

然后我又测试了一下4090，有坛友在搭配R9 5950X+DDR4 3000测试同一模型BS=4、8、16 迭代时间为130 230 345ms
我这个配置用4090测试该模型BS=4 123ms BS=8 197ms BS=16 316ms 提升不大，但的确还是要快一些
目前运算速度最快的组合就是超过频的13900K+4090，但由于显存只有24gb，有些高参模型还是不能跑。

屏幕截图 2022-10-23 162141.png

所以我建议大家在云平台，尽量选择显存大的跑，不一点要刻意追求GPU性能，因为反正也会被CPU拖后腿，不如发挥其应有的优势，跑别人卡跑不了的模型！

aks74q · 发表于 2022-10-23 23:23:05

很有价值的参考，谢谢楼主，实践出真知

lei27028 · 发表于 2022-10-24 01:48:30

感谢楼主发布有价值的参考

qiuyuande · 发表于 2022-10-24 02:07:24

本帖最后由 qiuyuande 于 2022-10-24 03:33 编辑

确实cpu 有一定的影响的

WinKK · 发表于 2022-10-24 06:10:44

这就是说，不但要换显卡，还要换CPU、内存，就得跟着换主板和电源——除了机箱，都要换了

maou · 发表于 2022-10-24 07:21:36

参考学习一下

cjlzkl · 发表于 2022-10-24 08:57:57

本帖最后由 cjlzkl 于 2022-10-24 08:59 编辑

所以你看cpu占用了么，看下来感觉你并没有做好变量啊……为啥得出cpu的问题而不是云平台的问腿。我是觉得这两个因素到达门槛后影响基本可以忽略不计。dlf版本优化方式的问题什么都有可能，比如我用原版，玩游戏的时候变成20s一迭代，但是用me版本，基本没影响2s一迭代。前者cpu满载跑的，后者限制了只用一半核心，cpu平时也都是20占用，速度上也差不多，那是不是可以得出结论cpu影响微乎其微了

qiuyuande · 发表于 2022-10-24 10:32:29

cjlzkl 发表于 2022-10-24 08:57
所以你看cpu占用了么，看下来感觉你并没有做好变量啊……为啥得出cpu的问题而不是云平台的问腿。我是觉得这 ...

影响还是很大的就说模型自动保存数据 CPU更好可能就10多秒保持了有些需要1分多钟。

cjlzkl · 发表于 2022-10-24 12:27:18

qiuyuande 发表于 2022-10-24 10:32
影响还是很大的就说模型自动保存数据 CPU更好可能就10多秒保持了有些需要1分多钟。 ...

保存肯定是固态影响大啊，我cpu才2700，硬盘m2 ， 512 192的丹保存大概5-6秒

linmo · 发表于 2022-10-30 03:40:44

感谢分享最近这段时间也在讨论选择台服务器来做AI，很有实质性的价值，减少了我们自己摸索的时间成本

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

CPU和内存性能也对训练速度有重大影响！

万事如意节日勋章