训练每次加载完，弹出预览窗口很慢！！求解决

plotchen · 发表于 2021-9-14 22:58:58

星级打分

平均分:NAN 参与人数:0 我的评分:未评

以前模型训练次数少基本就是启动一次就行了，现在模型训练累计都上千W次了，每次启动都要重复很多次才能弹出预览窗口，有时候还容易出现OMM,这到底是什么问题啊？？

是不是模型炼废了？

plotchen · 发表于 2021-9-14 23:02:23

对了，模型一旦启动成功后，训练几分钟大部分预览效果就不错了，但就是每次都要重启很多次，就无语。

yangala · 发表于 2021-9-15 00:46:50

估计是loss的历史记录太长了导致的，可以通过新建一个参数完全一样的模型把这个loss记录洗掉。

3155567247 · 发表于 2021-9-15 01:16:26

估计是loss的历史记录太长了导致的，可以通过新建一个参数完全一样的模型把这个loss记录洗掉。

3155567247 · 发表于 2021-9-15 01:23:01

估计是loss的历史记录太长了导致的，可以通过新建一个参数完全一样的模型把这个loss记录洗掉。

3155567247 · 发表于 2021-9-15 01:31:16

估计是loss的历史记录太长了导致的，可以通过新建一个参数完全一样的模型把这个loss记录洗掉。

plotchen · 发表于 2021-9-15 02:02:06

yangala 发表于 2021-9-15 00:46
估计是loss的历史记录太长了导致的，可以通过新建一个参数完全一样的模型把这个loss记录洗掉。 ...

我也觉得大概率是这个原因，但我重新建模型后，把以前迭代的模型直接覆盖到新模型就行了吗？

yangala · 发表于 2021-9-15 08:32:44

plotchen 发表于 2021-9-15 02:02
我也觉得大概率是这个原因，但我重新建模型后，把以前迭代的模型直接覆盖到新模型就行了吗？ ...

只覆盖.npy文件，那个dat文件用新建的

liangmou825 · 发表于 2021-9-15 08:34:08

估计是loss的历史记录太长了导致的，可以通过新建一个参数完全一样的模型把这个loss记录洗掉。

1234qwer111 · 发表于 2021-9-15 09:27:15

这就隐约透露了一个问题，一个丹还真不是一直用下去就好，应该会有个阈值。
还听说有的丹时间长了就不像src呢。
应该保留这个丹的最顶峰的时间段备份下。

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）