这个意思是自动保存了吗？崩了是不是也能从最后一次保.....

aa2249715850

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

是从其他模型开始训练的，都是默认值

2772403575

这是自动保存，但是崩了是需要从备份（自动备份）的模型恢复

aa2249715850

2772403575 发表于 2023-2-15 10:53
这是自动保存，但是崩了是需要从备份（自动备份）的模型恢复

oo,比如现在崩了，再渲染是从保存时间9:51的那里开始训练吗

lknet

分几种情况,
一种简单些,就是训练中(保存前)程序出现异常,直接关掉程序重新训练即可,这时候是最近一次程序自动保存的进度.
二种是保存中程序出错,一般情况下模型就会坏掉,需要手动恢复备份的模型文件继续训练,这时候就是恢复的模型的进度
三种是挂机训练,发现不知道什么时候模型炸了,这个时候就需要从备份模型中从近到远挨个试,直到恢复到正常.

model目录里面的文件是当前使用和训练的模型文件,训练中程序每隔25分钟会自动保存训练进度和数据到这里.训练中是不会写入的,所以程序崩掉或强制关掉对模型数据没啥影响.
model/xxxx_autobackups目录里面是每隔多久程序自动备份的模型文件.

2772403575

aa2249715850 发表于 2023-2-15 11:46
oo,比如现在崩了，再渲染是从保存时间9:51的那里开始训练吗

你没懂我的意思，保存的意思是无论你保存了多少次，它始终是一个模型。你每保存一次你下次训练就会接着你上次保存的进度开始训练，言外之义就是如果你在爆丹的情况下保存了，那么这个模型就废了，你是不能选择在某个时间点去恢复的；而备份就不一样，备份是将你当前状态的模型文件复制一份新建个文件夹存放起来，当你的本源模型崩溃（炸丹了），将备份的模型文件复制替换掉崩掉的本源模型继续训练

2772403575

所以定期的备份操作是必要的，特别是在开关某些训练参数或者阶段性训练的开始

2772403575

aa2249715850 发表于 2023-2-15 11:46
oo,比如现在崩了，再渲染是从保存时间9:51的那里开始训练吗

这里崩了往往是指模型的梯度爆炸Loss不降反而异常上升，模型预览图异常。程序崩溃无所谓，重新启动的确是会从比如保存时间9:51的那里开始训练

aa2249715850

2772403575 发表于 2023-2-15 12:28
这里崩了往往是指模型的梯度爆炸Loss不降反而异常上升，模型预览图异常。程序崩溃无所谓，重新启动的确是 ...

哦哦，原来如此，谢谢

qc1

谢谢分享