deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 784|回复: 6

换了主板和CPU训练之前的丹出现错误

[复制链接]

5

主题

18

帖子

162

积分

高级丹童

Rank: 2

积分
162
 楼主| 发表于 2022-7-22 16:25:50 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
Running trainer.

Choose one of saved models, or enter a name to create a new model.
[r] : rename
[d] : delete

[0] : new - latest
:
0
Loading new_SAEHD model...

Choose one or several GPU idxs (separated by comma).

[CPU] : CPU
  [0] : NVIDIA GeForce GTX 770

[0] Which GPU indexes to choose? :
0

Initializing models: 100%|#######################| 5/5 [00:02<00:00,  2.41it/s]
Loading samples: 100%|####################| 5788/5788 [00:32<00:00, 176.42it/s]
Loading samples: 100%|######################| 300/300 [00:02<00:00, 127.44it/s]
================== Model Summary ==================
==                                               ==
==            Model name: new_SAEHD              ==
==                                               ==
==     Current iteration: 44073                  ==
==                                               ==
==---------------- Model Options ----------------==
==                                               ==
==            resolution: 128                    ==
==             face_type: f                      ==
==     models_opt_on_gpu: True                   ==
==                 archi: df                     ==
==               ae_dims: 256                    ==
==                e_dims: 64                     ==
==                d_dims: 64                     ==
==           d_mask_dims: 22                     ==
==       masked_training: True                   ==
==             eyes_prio: False                  ==
==           uniform_yaw: False                  ==
==            lr_dropout: n                      ==
==           random_warp: True                   ==
==             gan_power: 0.0                    ==
==       true_face_power: 0.0                    ==
==      face_style_power: 0.0                    ==
==        bg_style_power: 0.0                    ==
==               ct_mode: none                   ==
==              clipgrad: False                  ==
==              pretrain: False                  ==
==       autobackup_hour: 0                      ==
== write_preview_history: False                  ==
==           target_iter: 0                      ==
==           random_flip: True                   ==
==            batch_size: 4                      ==
==                                               ==
==----------------- Running On ------------------==
==                                               ==
==          Device index: 0                      ==
==                  Name: NVIDIA GeForce GTX 770 ==
==                  VRAM: 4.00GB                 ==
==                                               ==
===================================================
Starting. Press "Enter" to stop training and save model.
[15:32:25][#044484][1172ms][0.5405][0.6002]
2022-07-22 15:47:43.122029: E tensorflow/stream_executor/cuda/cuda_event.cc:48]
Error polling for event status: failed to query event: CUDA_ERROR_LAUNCH_TIMEOUT
: the launch timed out and was terminated
2022-07-22 15:47:43.122029: E tensorflow/stream_executor/cuda/cuda_driver.cc:101
1] could not synchronize on CUDA context: CUDA_ERROR_LAUNCH_TIMEOUT: the launch
timed out and was terminated ::
2022-07-22 15:47:43.705062: F tensorflow/core/common_runtime/gpu/gpu_event_mgr.c
c:274] Unexpected Event status: 1
请按任意键继续. . .


刚开始可以训练一定时间以后就闪退然后就这样了

回复

使用道具 举报

2

主题

626

帖子

6780

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6780
发表于 2022-7-22 20:00:05 | 显示全部楼层
加大虚拟內存看看
回复 支持 反对

使用道具 举报

5

主题

18

帖子

162

积分

高级丹童

Rank: 2

积分
162
 楼主| 发表于 2022-7-22 21:26:12 | 显示全部楼层
nicky9999 发表于 2022-7-22 20:00
加大虚拟內存看看

好像还是不行
回复 支持 反对

使用道具 举报

0

主题

57

帖子

329

积分

初级丹师

Rank: 3Rank: 3

积分
329
发表于 2022-7-22 22:26:15 | 显示全部楼层
重装cuda+显卡驱动看看
回复 支持 反对

使用道具 举报

2

主题

626

帖子

6780

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6780
发表于 2022-7-22 23:31:44 | 显示全部楼层
降低BS看看
回复 支持 反对

使用道具 举报

5

主题

18

帖子

162

积分

高级丹童

Rank: 2

积分
162
 楼主| 发表于 2022-7-22 23:53:29 | 显示全部楼层

显卡温度太高 显卡掉线了
回复 支持 反对

使用道具 举报

33

主题

989

帖子

7311

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7311

万事如意节日勋章

发表于 2022-11-3 09:39:48 | 显示全部楼层
找到解决办法没哦?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-11 16:42 , Processed in 0.141477 second(s), 34 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表