训练一段时间之后，数据不动了，是什么原因？

WaveBedo · 发表于 2024-3-7 07:35:01

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

从bs4跑到bs8跑到bs10，
迭代到10万之后，数据就不动了。bs10跑了十几个小时，
改回bs8，可以继续跑，但跑不了半个小时，又不动了，
改回bs6，也是一样。
改回bs4，可以继续跑。但Loss分不清它是在上升还是下降

捕获006.PNG

用的是RG版本，显卡1080ti
是哪里出问题了？

wzx945 · 发表于 2024-3-7 12:06:31

pasanonic 发表于 2024-3-7 10:15
这个三围好稀烂

你认真的？这不就是坛主的神丹么。。。。

lknet · 发表于 2024-3-7 07:39:00

跑不动时候关注一下任务管理器

WaveBedo · 发表于 2024-3-7 09:30:10

本帖最后由 WaveBedo 于 2024-3-7 09:31 编辑

lknet 发表于 2024-3-7 07:39
跑不动时候关注一下任务管理器

搞不清什么原因，连bs4跑了30分钟后，也不动了

pasanonic · 发表于 2024-3-7 10:15:02

这个三围好稀烂

lknet · 发表于 2024-3-7 11:43:09

你bs8或者再高点,打开后直接保存一下,看看怎么样.
我怀疑是显存有问题,因为不到半个小时刚好是模型25分钟自动保存时间,保存时候消耗内存大一点,撞到了出问题的显存,然后就卡住了
ps:不久前淘的1080p商家甜甜圈随便烤没事,我去换显卡用dfl直接把他家全部3块1080ti干趴了,全是显存一占满就不行了.

Deannnn · 发表于 2024-3-7 11:55:20

CMD关闭快速编辑模式

weyer · 发表于 2024-3-7 18:23:59

是不是按到cmd界面了在cmd界面回车试试

WaveBedo · 发表于 2024-3-7 19:23:22

lknet 发表于 2024-3-7 11:43
你bs8或者再高点,打开后直接保存一下,看看怎么样.
我怀疑是显存有问题,因为不到半个小时刚好是模型25分钟自 ...

我也有点怀疑是显卡问题，因为跑了10万迭代之前，是没有问题的

改成ME会出现同样的问题，硬盘也改了，虚拟内存也设置200到300G。还是出现同样的问题
虚拟内存位置要跟安装文件夹、workshop同一个硬盘吗？

lknet · 发表于 2024-3-7 19:32:56

WaveBedo 发表于 2024-3-7 19:23
我也有点怀疑是显卡问题，因为跑了10万迭代之前，是没有问题的

改成ME会出现同样的问题，硬盘也改了，虚 ...

不用一个硬盘
你可以建个新的低参数模型跑跑试试,能跑大概率显存问题

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）

训练一段时间之后，数据不动了，是什么原因？

万事如意节日勋章

开心娱乐节日勋章