[已解决] 训练时每迭代几次就会停顿(卡顿)一次

niubi6666 · 发表于 2022-4-30 22:28:12

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 niubi6666 于 2022-5-1 23:20 编辑

问题已解决，差点把CPU换了(尼玛)。先说原因：训练素材的分辨率高于模型分辨率

仔细看了一遍滚石的教程https://dfldata.xyz/forum.php?mod=viewthread&tid=642&extra=page=1，发现这么一段话：
"
8. 模型分辨率*

[512] Resolution ( 64-640 ?:help ) : ?

   介绍：模型生成人脸的分辨率。注意，这个只是尺寸大，并不是更清晰。大尺寸的结果就是训练速度更慢，通常256足够用了。一般人连256都训练不到高清，完全没必    要用256以上的分辨率模型。
   推荐值：128-256，要是16的倍数
   "

看了这段话后我用 5.2) data_dst util faceset resize 和 4.2) data_src util faceset resize 按照模型分辨率重新调整了素材分辨率，卡顿的问题解决了。当素材分辨率和模型分辨率一致时，CPU基本不上班。看来是不用换CPU了。

再次感谢滚大的教程。

-----------------------------------⬇原文⬇-------------------------------------------
不知道什么时候开始出现的情况，可能一直都有，但今天才发现，在训练模型的时候，迭代速度以“快快快快慢”这样的速度循环。
比如说在某参数下，第一次迭代时长为300ms，第二三四次也是300ms，第五次就会停顿，然后显示几千ms，然后又是300ms，如此循环。
试过把参数调低或者调高，但是都有这么一次停顿，且停顿时间与参数成正比，大概是快的时候的十倍时长。

循环体为 "快快快快慢"    增加虚内、重装系统、换成最新版英文软件、换模型皆无法改变这种情况，我以为他本该是匀速迭代的。
经过我的观察，停顿时恰好是CPU占有率高的时候。可models_opt_on_gpu我一直都是开着的。

niubi6666 · 发表于 2022-5-5 10:03:11

试验了一下。如果分辨率对上了，单个DFL软件在训练时CPU占用率不会超过百分之20。
我双开DFL，BS拉到最高，CPU占用率平均也就是百分之三四十。
这才是正常的。

niubi6666 · 发表于 2022-4-30 22:32:08

本帖最后由 niubi6666 于 2022-6-5 22:09 编辑

87951763 · 发表于 2022-4-30 23:38:23

不懂看看

hearfsd · 发表于 2022-5-1 00:07:52

用的比你这3100还差的cpu一代的1400，同样的4c8t，也是一样的情况，目前在考虑是不是cpu太差了，打算换5800或者5900

无赖ING · 发表于 2022-5-1 00:13:00

CPU的锅，换一个吧

烟鬼 · 发表于 2022-5-1 01:49:58

不太懂应该没啥问题吧，我好像也出现guo z y

WinKK · 发表于 2022-5-1 06:08:14

你再看看GPU显存占用情况吧。这种情况一般是哪个地方出现瓶颈了。这个模型参数还是挺高的。

xswpp · 发表于 2022-5-1 08:08:25

学习观摩一下各位大佬！！！！

niubi6666 · 发表于 2022-5-1 17:51:40

WinKK 发表于 2022-5-1 06:08
你再看看GPU显存占用情况吧。这种情况一般是哪个地方出现瓶颈了。这个模型参数还是挺高的。 ...

低参也是几步一停。。GPU持续满载。貌似是最近才有的情况。最奇怪的是，Liae丹状况好得多！这是最怪的，在问题解决之前只能用LIAE丹了，太头疼了。

niubi6666 · 发表于 2022-5-1 17:52:22

无赖ING 发表于 2022-5-1 00:13
CPU的锅，换一个吧

有这方面的考虑了，兄弟用的啥CPU，感觉怎么样

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

[已解决] 训练时每迭代几次就会停顿(卡顿)一次

评分

万事如意节日勋章