【训练速度突然变慢是怎么回事？】

jinyuan37 · 发表于 2022-10-10 10:10:50

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 jinyuan37 于 2022-10-10 10:35 编辑

同样的SRC和模型参数，换了个DST后（数量从原本5000增加到2W），速度突然变慢，重启电脑也无效。从原本的200ms变成700ms。

训练中间过程偶尔会降低到200ms但大部分时间都是700+

目前测试：更换模型无效、重启无效、更换DST无效。

jinyuan37 · 发表于 2022-10-10 10:22:28

本帖最后由 jinyuan37 于 2022-10-10 10:50 编辑

破案了，是一个叫做橙瓜码字的小软件导致的，关掉就不影响。
很奇怪，以前也是开着的没影响啊，这软件又不大怎么会差别这么多- -！

jinyuan37 · 发表于 2022-10-10 11:12:12

又测试了下，单独开这个软件的时候CUDA占用几乎为0，单独开DFL的时候占用90%左右，可一旦同时打开，占用就会达到100%，然后速度就慢了，这要怎么解决?之前同时开都没出现这个问题。

lknet · 发表于 2022-10-10 13:19:43

我有时候开钉钉会GPU100%,训练时间明显延长，但GPU温度很低。有时候又没影响，很邪门。估计是有些软件的自绘界面的原因？

jinyuan37 · 发表于 2022-10-10 13:50:31

lknet 发表于 2022-10-10 13:19
我有时候开钉钉会GPU100%,训练时间明显延长，但GPU温度很低。有时候又没影响，很邪门。估计是有些软件的自 ...

搞不懂，降低速度的原因是CUDA太高自动降频，可那破软件用到显卡的地方压根没多少。现在用着用着又好了，也不知道什么原因。有时候是桌面的动态壁纸软件搞的鬼。

奇奇怪怪1973 · 发表于 2022-10-10 16:25:57

打开任务管理器看看是什么占用比较厉害

sakaki124 · 发表于 2022-10-14 14:57:04

新版的城通网盘和夸克网盘的客户端一样有这个问题，只要开着这两个的其中之一训练时间就会翻倍，关了就正常

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

【训练速度突然变慢是怎么回事？】

开心娱乐节日勋章

万事如意节日勋章