为什么训练几分钟就自动重启

lxmmc8 · 发表于 2023-6-18 16:26:33

星级打分

平均分:NAN 参与人数:0 我的评分:未评

配置是Xeon E5-2696 64G内存虚拟内存10~120G 显卡3060 12G显存

开rct还会报错broken pipe error 32，不能训练

djblue999 · 发表于 2023-6-18 16:40:24

我也有过类似经历，后来换了更大功率的机箱电源解决了

come3002 · 发表于 2023-6-18 17:22:17

楼主用的哪个丹？
训练参数？

westofsun · 发表于 2023-6-18 17:48:10

本帖最后由 westofsun 于 2023-6-18 17:50 编辑

很大概率天气热了，机箱散热不好，过热重启

很小概率是你的模型什么的下牙过大导致的，

{有关这个论点我可以从你的模型数据以及前天吃的啥给你洋洋洒洒写出一篇带训练图的巨作}。

lxmmc8 · 发表于 2023-6-18 18:08:46

westofsun 发表于 2023-6-18 17:48
很大概率天气热了，机箱散热不好，过热重启

很小概率是你的模型什么的下牙过大导致的，

下牙过大是什么意思？dst有2万张图，可能是这个原因吧

lxmmc8 · 发表于 2023-6-18 18:10:34

come3002 发表于 2023-6-18 17:22
楼主用的哪个丹？
训练参数？

DF224丹，BS4，真脸学习率gan等等都没开，dst有2万张图

come3002 · 发表于 2023-6-18 18:16:48

本帖最后由 come3002 于 2023-6-18 18:23 编辑

lxmmc8 发表于 2023-6-18 18:10
DF224丹，BS4，真脸学习率gan等等都没开，dst有2万张图

丹和bs4没问题。
你可以看训练迭代时间是不是时间均匀。
可能1：时间不均匀，就要考虑素材，我自闭2.0 曾经用wf1024和2048混用一会700.一会3000，这样的瞬卡，导致加重电脑学习负担，最后重启过。

可能2：迭代时间均匀。就要先考虑电脑本身，可以加强散热，看有没有改进

lxmmc8 · 发表于 2023-6-18 18:27:28

come3002 发表于 2023-6-18 18:16
丹和bs4没问题。
你可以看训练迭代时间是不是时间均匀。
可能1：时间不均匀，就要考虑素材，我自闭2.0 曾 ...

那就是散热问题了，素材都是wf512

ccctttccct · 发表于 2023-6-18 18:55:20

lxmmc8 发表于 2023-6-18 18:27
那就是散热问题了，素材都是wf512

这么大内存，这是服务器啊。

ccctttccct · 发表于 2023-6-18 18:59:51

come3002 发表于 2023-6-18 18:16
丹和bs4没问题。
你可以看训练迭代时间是不是时间均匀。
可能1：时间不均匀，就要考虑素材，我自闭2.0 曾 ...

bs4当然有用了，因为为了让src轮廓更贴近dst，要使用更低的bs

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）