跑訓練都會遇到的問題，變NAN [14:56:15][#001836][0206ms][nan][nan]

swda1234 · 发表于 2021-10-22 14:59:16

星级打分

1
2
3
4
5

平均分:NAN 参与人数:0 我的评分:未评

求高手解惑QQ

Initializing models: 100%|###############################################################| 5/5 [00:00<00:00,  5.45it/s]
Loading samples: 100%|##############################################################| 200/200 [00:00<00:00, 445.19it/s]
Loading samples: 100%|############################################################| 4043/4043 [00:32<00:00, 123.63it/s]
====================== Model Summary ======================
==                                                    ==
==       Model name: new_Quick96                      ==
==                                                    ==
== Current iteration: 0                               ==
==                                                    ==
==-------------------- Model Options --------------------==
==                                                    ==
==       batch_size: 4                               ==
==                                                    ==
==--------------------- Running On ----------------------==
==                                                    ==
==    Device index: 0                               ==
==             Name: NVIDIA GeForce RTX 3070 Laptop GPU ==
==             VRAM: 5.36GB                            ==
==                                                    ==
===========================================================
Starting. Press "Enter" to stop training and save model.

Trying to do the first iteration. If an error occurs, reduce the model parameters.

!!!
Windows 10 users IMPORTANT notice. You should set this setting in order to work correctly.
https://i.imgur.com/B7cmDCB.jpg
!!!
[14:53:12][#000002][0086ms][3.5109][3.5835]
[14:56:15][#001836][0206ms][nan][nan]
[14:56:20][#001865][0148ms][nan][nan]
[14:56:24][#001924][0064ms][nan][nan]

xsummer · 发表于 2021-10-22 19:22:16

本帖最后由 xsummer 于 2021-10-22 19:23 编辑

无丹，路过

1111111 · 发表于 2021-10-22 19:22:33

这个显存为啥要跑q96

swda1234 · 发表于 2021-10-22 22:33:31

因為我SAEHD很不穩定
跑一飽都會損失率那邊都會變成NAN

還沒抓到原因QQ

swda1234 · 发表于 2021-10-23 09:32:39

我應該找到原因了，是因為超頻的關係QQ

swda1234 · 发表于 2021-10-30 05:08:37

建議大家不要隨意超頻，尤其筆電

花山大王 · 发表于 2021-12-24 20:43:28

我没超频啊，这个怎么解决啊

a0931242638 · 发表于 2022-2-5 16:05:28

同問~沒超頻還是 NAN 請大神求救

xiekun1219 · 发表于 2022-9-13 11:57:43

同问，没超频，突然就变成NAN了

1111a1333 · 发表于 2024-2-27 20:37:00

所以各位大佬有解决这个问题吗？Github上作者给的方案是GPU降频（https://github.com/iperov/DeepFaceLab/issues/120）或者降低模型参数（https://github.com/iperov/DeepFaceLab/issues/378），还有个老哥说换了cuda的版本（https://github.com/iperov/DeepFaceLab/issues/5525）。但这些解决方案在我这儿都没用。直接使用q96也不行，只有第一次训练的时候显示了一次loss，之后就有变回NaN了。训练SAEHD的话，一点进展都没有。而且我的那个训练程度的预览窗口都不是每次都有。我用的Linux系统，显卡是3090。cuda11.8 cudnn8.9.7

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）