跑訓練都會遇到的問題，變NAN [14:56:15][#001836][0206ms][nan][nan]

swda1234

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

求高手解惑QQ

Initializing models: 100%|###############################################################| 5/5 [00:00<00:00,  5.45it/s]
Loading samples: 100%|##############################################################| 200/200 [00:00<00:00, 445.19it/s]
Loading samples: 100%|############################################################| 4043/4043 [00:32<00:00, 123.63it/s]
====================== Model Summary ======================
==                                                       ==
==        Model name: new_Quick96                        ==
==                                                       ==
== Current iteration: 0                                  ==
==                                                       ==
==-------------------- Model Options --------------------==
==                                                       ==
==        batch_size: 4                                  ==
==                                                       ==
==--------------------- Running On ----------------------==
==                                                       ==
==      Device index: 0                                  ==
==              Name: NVIDIA GeForce RTX 3070 Laptop GPU ==
==              VRAM: 5.36GB                             ==
==                                                       ==
===========================================================
Starting. Press "Enter" to stop training and save model.


Trying to do the first iteration. If an error occurs, reduce the model parameters.


!!!
Windows 10 users IMPORTANT notice. You should set this setting in order to work correctly.
https://i.imgur.com/B7cmDCB.jpg
!!!
[14:53:12][#000002][0086ms][3.5109][3.5835]
[14:56:15][#001836][0206ms][nan][nan]
[14:56:20][#001865][0148ms][nan][nan]
[14:56:24][#001924][0064ms][nan][nan]

xsummer

无丹，路过

1111111

这个显存为啥要跑q96

swda1234

因為我SAEHD很不穩定
跑一飽都會損失率那邊都會變成NAN

還沒抓到原因QQ

swda1234

我應該找到原因了，是因為超頻的關係QQ

swda1234

建議大家不要隨意超頻，尤其筆電

花山大王

我没超频啊，这个怎么解决啊

a0931242638

同問~沒超頻 還是 NAN  請大神求救

xiekun1219

同问，没超频，突然就变成NAN了

1111a1333

所以各位大佬有解决这个问题吗？Github上作者给的方案是GPU降频（https://github.com/iperov/DeepFaceLab/issues/120）或者降低模型参数（https://github.com/iperov/DeepFaceLab/issues/378），还有个老哥说换了cuda的版本（https://github.com/iperov/DeepFaceLab/issues/5525）。但这些解决方案在我这儿都没用。直接使用q96也不行，只有第一次训练的时候显示了一次loss，之后就有变回NaN了。训练SAEHD的话，一点进展都没有。而且我的那个训练程度的预览窗口都不是每次都有。我用的Linux系统，显卡是3090。cuda11.8 cudnn8.9.7