显卡CPU占用率问题

dd316316 · 发表于 2024-9-24 11:05:44

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

炼丹过程显卡怎么老是偷懒？怎么调整？

wzx945 · 发表于 2024-9-24 14:52:47

你CPU占用太高了，一般CPU占用不会超过40%，你都100%占用了，所以GPU在等cpu
我觉得最可能的原因是，你的SRC或DST图片的分辨率比你炼的丹高太多了，同时你的batch_size又开的很高，导致cpu不停的缩放图片，cpu性能占用占满了。解决办法就是把SRC或DST图片的图片缩小，只要不是练416以上的丹，图片都缩到512就够了，dfl本身就提供了缩放图片的功能。
4.2) data_src util faceset resize
5.2) data_dst util faceset resize
这两个就是给图片缩放的。

pasanonic · 发表于 2024-9-24 11:29:19

参数看下 cpu不可能占那么多，训练模型最多15％

dd316316 · 发表于 2024-9-24 11:45:50

pasanonic 发表于 2024-9-24 11:29
参数看下 cpu不可能占那么多，训练模型最多15％

我也不知道啊。。

dd316316 · 发表于 2024-9-24 15:08:37

wzx945 发表于 2024-9-24 14:52
你CPU占用太高了，一般CPU占用不会超过40%，你都100%占用了，所以GPU在等cpu
我觉得最可能的原因是，你的SR ...

图片1024*1024 BS8 底丹224

dfl9999 · 发表于 2024-9-24 21:23:03

dd316316 发表于 2024-9-24 15:08
图片1024*1024 BS8 底丹224

224的丹，用512分辨率的脸部切图就不会缩放，1024会不停用cpu缩放到512进行训练，cpu忙不过来无法满足显卡的训练速度导致显卡睡觉，你用dfl把切图缩回512就好了，224用不上1024的切图

seancai110 · 发表于 2024-9-25 02:41:26

windows的资源管理器看ai训练不准的。因为资源管理器不计算cuda的使用率。当然，你可以在显卡的小窗口里把cuda的使用率显示出来，具体可以自己百度。

你显存已经用满了，说明显卡就是用到极限了。

platexyxy · 发表于 2024-9-27 14:31:00

啥丹？
除了网友们说的怀疑，我还怀疑是不是把模型跑到内存里了？

w7315511 · 发表于 2024-10-3 07:31:47

显卡占用是满的，放心跑

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

显卡CPU占用率问题

万事如意节日勋章

开心娱乐节日勋章