继续提问！用CPU炼丹就正常，用GPU就没反应

goethemax

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

我一共下载了两个最新版本的DFL
一个是RTX3000+专用，我自己的显卡就是3060Ti，然后这个版本的连Xseg编辑器都没有办法正常启动。


有下载了一个DirectX专用的版本，在训练SAEHD之前都可以用GPU跑，一切也都非常顺畅。但是SAEHD一旦用GPU训练就会停住，我已经把bs降到4了但似乎还是不行……信息如下，是不是我的设置出了问题：

Loading 01_SAEHD model...

Choose one or several GPU idxs (separated by comma).

[CPU] : CPU
  [0] : NVIDIA GeForce RTX 3060 Ti

[0] Which GPU indexes to choose? : 0
0

Press enter in 2 seconds to override model settings.
[1] Autobackup every N hour ( 0..24 ?:help ) :
1
[n] Write preview history ( y/n ?:help ) :
n
[0] Target iteration :
0
[n] Flip SRC faces randomly ( y/n ?:help ) :
n
[y] Flip DST faces randomly ( y/n ?:help ) :
y
[8] Batch_size ( ?:help ) : 4
4
[n] Eyes and mouth priority ( y/n ?:help ) :
n
[n] Uniform yaw distribution of samples ( y/n ?:help ) :
n
[n] Blur out mask ( y/n ?:help ) :
n
[y] Place models and optimizer on GPU ( y/n ?:help ) :
y
[y] Use AdaBelief optimizer? ( y/n ?:help ) :
y
[n] Use learning rate dropout ( n/y/cpu ?:help ) :
n
[y] Enable random warp of samples ( y/n ?:help ) :
y
[0.0] Random hue/saturation/light intensity ( 0.0 .. 0.3 ?:help ) :
0.0
[0.0] GAN power ( 0.0 .. 5.0 ?:help ) :
0.0
[0.0] Face style power ( 0.0..100.0 ?:help ) :
0.0
[0.0] Background style power ( 0.0..100.0 ?:help ) :
0.0
[none] Color transfer for src faceset ( none/rct/lct/mkl/idt/sot ?:help ) :
none
[n] Enable gradient clipping ( y/n ?:help ) :
n
[n] Enable pretraining mode ( y/n ?:help ) :
n
Initializing models: 100%|###############################################################| 5/5 [00:02<00:00,  2.09it/s]
Loading samples: 100%|############################################################| 8532/8532 [00:34<00:00, 250.62it/s]
Loading samples: 100%|##########################################################| 12449/12449 [00:46<00:00, 267.00it/s]
==================== Model Summary ====================
==                                                   ==
==            Model name: 01_SAEHD                   ==
==                                                   ==
==     Current iteration: 11432                      ==
==                                                   ==
==------------------ Model Options ------------------==
==                                                   ==
==            resolution: 128                        ==
==             face_type: f                          ==
==     models_opt_on_gpu: True                       ==
==                 archi: liae-ud                    ==
==               ae_dims: 256                        ==
==                e_dims: 64                         ==
==                d_dims: 64                         ==
==           d_mask_dims: 22                         ==
==       masked_training: True                       ==
==       eyes_mouth_prio: False                      ==
==           uniform_yaw: False                      ==
==         blur_out_mask: False                      ==
==             adabelief: True                       ==
==            lr_dropout: n                          ==
==           random_warp: True                       ==
==      random_hsv_power: 0.0                        ==
==       true_face_power: 0.0                        ==
==      face_style_power: 0.0                        ==
==        bg_style_power: 0.0                        ==
==               ct_mode: none                       ==
==              clipgrad: False                      ==
==              pretrain: False                      ==
==       autobackup_hour: 1                          ==
== write_preview_history: False                      ==
==           target_iter: 0                          ==
==       random_src_flip: False                      ==
==       random_dst_flip: True                       ==
==            batch_size: 4                          ==
==             gan_power: 0.0                        ==
==        gan_patch_size: 16                         ==
==              gan_dims: 16                         ==
==                                                   ==
==------------------- Running On --------------------==
==                                                   ==
==          Device index: 0                          ==
==                  Name: NVIDIA GeForce RTX 3060 Ti ==
==                  VRAM: 6.76GB                     ==
==                                                   ==
=======================================================
Starting. Press "Enter" to stop training and save model.
请按任意键继续. . .

天天好想你

== ae_dims： 256 ==
== e_dims： 64 ==
== d_dims： 64 ==
== d_mask_dims： 22 ==

看这几个参数，我觉得是参数太高了，你的显卡带不动，你调BS也没用。反正我6G的显卡是肯定带不动这几个参数。你检查一下错误提示，看有没有OOM这几个字母？

或者你继续等大神来指导吧

guoruoxuan

设置一下虚拟内存看看，比如100g

toly219

两种方案：
楼上让你加虚拟100，这个是解决磁盘的块的大小。解决不了你这个问题的。
1，不,改src和dst的尺寸：
把模型优化放cpu上，bs8不变。
Place models and optimizer on GPU ( y/n ?:help ) :这里选n。
当然，你的cpu要能混。
3060tiGPU，3070ti都负担不了大图分辨率的优化，每次都要转谁吃的消？
1024我用v100。跑32bs都累！
2，改dst的图的尺寸。
如果你是复用RTM，改成官方让你dst-224-60000张以内。你自己看你的参数，你res是128，你的dst要那么高是不是毫无意义？
你纠结，有心理作用，哈哈，和我一样，那你的dst的尺寸下来，先测试512。
60ti如果过不去，就256或按官方224。

一条大咸鱼

天天好想你 发表于 2022-3-4 12:49
== ae_dims： 256 ==
== e_dims： 64 ==
== d_dims： 64 ==

这参数不高，我4g卡都能跑，224分辨率的

goethemax

toly219 发表于 2022-3-4 13:42
两种方案：
楼上让你加虚拟100，这个是解决磁盘的块的大小。解决不了你这个问题的。
1，不,改src和dst的尺 ...

感谢大神！我主要一切都是按照默认来的，所以有点不知道问题出在哪里。

我觉得可以采用第二种方案~但请问具体是在哪个选项里改dst的数值呢？还请大神明示！感激不尽~~

whl716694

没装环境库？

goethemax

whl716694 发表于 2022-3-4 15:58
没装环境库？

请问环境库是什么？

天天好想你

一条大咸鱼 发表于 2022-3-4 15:46
这参数不高，我4g卡都能跑，224分辨率的

不知道，这个参数的丹，反正我6G的显卡BS开4跑不动。

toly219

goethemax 发表于 2022-3-4 15:50
感谢大神！我主要一切都是按照默认来的，所以有点不知道问题出在哪里。

我觉得可以采用第二种方案~但请 ...

不是选项，是你faceset即，dst的直方图序列本身。你们手上习惯了调用512,1024的图去炼丹。把dst-》aligned里的直方图全部改成官方默认224，就是原版RTM WF数据集一样的尺寸。
原版集子是win版iperov软件里给你们的最大的9个G的训练集。
只要你们自己的dst是一样的素质，就ok流畅。飞快。
昨天我和滚石聊天，他160W迭代。3080ti。开着gan，512的dims噢，9天。酷吧！切记：res128，你就dst也128，res224，你就dst224。你的60ti是牛逼卡，1.5人民币一小时，iperov还愿意租你的。哈哈哈哈，不要妄自菲薄。
ps：补充一个，很多老玩家这次live时都不相信自己机器了，情况都是这个：已经不玩DFL了，去年ip出live了，大家萌新又回来跑，心想，手里的3000系是不可能这么快就变香烟盒的，而且一看有人2080,1060都在跑，肯定没事儿（本能会忘记2080的大显存事实，更不会去想全连接层和大图实时转尺寸的内耗问题，8G还不能混吗）。于是，哈哈哈，大家集体和你一样，大图上啊，ip也不说，官坛也不说，ok，OOM集体自杀。我这次蠢到，租了V100跑。开32bs。结果一看，跑满100%。速度没上去，去投诉主机平台租假矿卡给我了。啥叫本能，我3年半前，英伟达Git主页出shot v2v，同样的问题，我还写了教程给英伟达的教主和兄弟们装逼显摆，然后自己也会忘记，我估计下次升级还是会有无数兄弟砸机器换卡……哈哈哈哈另，借你阵地说一句，大家别玩DF了，淘汰了。官方的原话！！！！！