训练一段时间之后，数据不动了，是什么原因？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

从bs4跑到bs8跑到bs10，
迭代到10万之后，数据就不动了。bs10跑了十几个小时，
改回bs8，可以继续跑，但跑不了半个小时，又不动了，
改回bs6，也是一样。
改回bs4，可以继续跑。但Loss分不清它是在上升还是下降



用的是RG版本，显卡1080ti
是哪里出问题了？

wzx945

pasanonic 发表于 2024-3-7 10:15
这个三围好稀烂

你认真的？这不就是坛主的神丹么。。。。

lknet

跑不动时候关注一下任务管理器

WaveBedo

lknet 发表于 2024-3-7 07:39
跑不动时候关注一下任务管理器

搞不清什么原因，连bs4跑了30分钟后，也不动了

pasanonic

这个三围好稀烂

lknet

你bs8或者再高点,打开后直接保存一下,看看怎么样.
我怀疑是显存有问题,因为不到半个小时刚好是模型25分钟自动保存时间,保存时候消耗内存大一点,撞到了出问题的显存,然后就卡住了
ps:不久前淘的1080p商家甜甜圈随便烤没事,我去换显卡用dfl直接把他家全部3块1080ti干趴了,全是显存一占满就不行了.

Deannnn

CMD关闭快速编辑模式

weyer

是不是按到cmd界面了  在cmd界面回车试试

WaveBedo

lknet 发表于 2024-3-7 11:43
你bs8或者再高点,打开后直接保存一下,看看怎么样.
我怀疑是显存有问题,因为不到半个小时刚好是模型25分钟自 ...

我也有点怀疑是显卡问题，因为跑了10万迭代之前，是没有问题的

改成ME会出现同样的问题，硬盘也改了，虚拟内存也设置200到300G。还是出现同样的问题
虚拟内存位置要跟安装文件夹、workshop同一个硬盘吗？

lknet

WaveBedo 发表于 2024-3-7 19:23
我也有点怀疑是显卡问题，因为跑了10万迭代之前，是没有问题的

改成ME会出现同样的问题，硬盘也改了，虚 ...

不用一个硬盘
你可以建个新的低参数模型跑跑试试,能跑大概率显存问题