给位大佬，求助一下，我的模型训练时保存怎么很慢呢？

飞天猪

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

给位大佬，求助一下，我的模型训练时保存怎么很慢呢？

我才训练了5万多次，自动保存一次得半个多小时
我真日了狗了

lknet

内存低吧，应该是虚拟内存大量使用了

若苗瞬

半小时备份一次，每次备份需要半小时。。。

飞天猪

lknet 发表于 2024-2-22 23:59
内存低吧，应该是虚拟内存大量使用了

没有表述清楚
云端训练，内存48G，显卡3090 24G显存，虚拟内存设置400G。
是训练了50W次，然后就很卡，卡到死机重启后，模型损坏.
内存应该不算低了吧
但是你说的虚拟内存大量使用应该是真的，可是，虚拟内存大量使用这个应该怎么清理呢？

飞天猪

若苗瞬 发表于 2024-2-23 09:48
半小时备份一次，每次备份需要半小时。。。

是啊
而且还自动保存，还是连续自动保存   我都疯了

z6163727

沒用過雲端   
問一下用雲端可以看到預覽窗口嗎  可的話 按L改變一下 有差

lknet

之前不卡那就重启一下服务器试试，任务管理器看看是哪个占用高

飞天猪

z6163727 发表于 2024-2-24 00:49
沒用過雲端   
問一下用雲端可以看到預覽窗口嗎  可的話 按L改變一下 有差 ...

我是租用的3090    可以看到预览窗口   都是一样的图形
L键是干什么的啊？
大佬  问一下    SRC原图切脸的时候   我没有选择要debug这个文件   就是我的data_src里没有debug这个文件   然后就直接写入遮罩后训练了   这样可以吗？
这个debug文件在训练的时候没有可以吗？

大佬   可以指点一下吗？  万分感谢

飞天猪

lknet 发表于 2024-2-24 07:46
之前不卡那就重启一下服务器试试，任务管理器看看是哪个占用高

大佬   任务管理没有几个任务   而且是在保存的时候非常卡  直接卡死    性能显示也是指显示硬盘100%，其他cpu  gpu都没有超过15%的使用率
后来我直接格式化硬盘了    然后用备份文件继续训练了   但是现在怎么目标损失率降的非常少，11个小时了，只降了不到0.08 ，这正常吗？
用的显卡3090  三天多时间，现在跑到70万了，目标损失率在0.77，用的原作者的RTT和RTM
也用的论坛里另外一位分享的 新手训练步骤  7步法    第一步目标损失率降0.48，就步降了或者反弹了，然后就第二步参数修改后训练，目标损失率反而从0.85开始，到现在12个小时了 ，目标损失率都没有继续下降，很慢 很慢 这正常吗？
大佬   可以指点一下吗？万分感谢

飞天猪

lknet 发表于 2024-2-22 23:59
内存低吧，应该是虚拟内存大量使用了

租的机器  内存是48G   显卡3090  分配的虚拟显存400000M   
这个虚拟内存可以在训练的时候清理吗？怎么清理啊？
大佬   麻烦指点一下   万分感谢