deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2980|回复: 23

(7.11更新)杨幂专丹炼制讨论

[复制链接]

11

主题

123

帖子

1664

积分

初级丹圣

Rank: 8Rank: 8

积分
1664

万事如意节日勋章

 楼主| 发表于 2023-7-10 11:35:49 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:1  我的评分:未评
本帖最后由 风起云涌 于 2023-7-11 19:41 编辑


7月11日晚上更新日志:
感觉被带偏了,重新开始炼制,底丹为6.11高质量底丹,SRC素材来源于论坛【杜比4K杨幂】全角度覆盖12700张和26500张,DST素材来源高质量复用底丹的DST+1024图片。
第一步:adabelief (AB优化器): 一直开
Enable HSV power (启用 HSV power强度):0.05
ct_mode(色彩变换): lct
RW 随机扭曲:开
Enable gradient clipping梯度裁剪:关
eyes_mouth_prio (眼嘴优先): 关
Uniform_yaw (均匀侧脸):关
learning rate drop:关
True face power 真脸强度:0.0
GAN poewer: 0.0
图片待续。




7月11日更新日志:
采取
come3002建议,用同一台电脑准备做4个组实验,每一组的实验都是采用新的6.11高质量底丹。素材均打包成PACK数据集,实验截图预览图,未合成图片对比。
实验对比后发现,AB两组直接采用默认参数,成像快,CD两组很难看。
分析结果:1.CD两组开了RW扭曲,开了lCT,这个应该对成像影响较大。
     2.CD两组相当于重新炼制,只是采用底丹加快了一些炼制速度。



问题来了:1.采用底丹炼制某人专丹时,是直接采用底丹参数进行训练?跑多久?下一步按什么步骤训练?
                 2.采用底丹炼专丹时,准确的方法是什么?按照坛主的万能丹炼制方法,一步步的进行下去?还是论坛上新贴的官方几个步骤进行下去?

                3.这只是src和dat相同素材的情况下,如果想增加适应性,将dst更换为其它人员素材时,true_face_power选项肯定也要打开的,训练步骤又是怎样?
请各位大佬指点一下。
最后一组图片为140万迭代预览,损失率为:0.3821,0.3255。



========================模型概要==========================
                                                   
                  模型名字: come3.0_SAEHD              
                                                   
                  当前迭代: 1483619                    
                                                   
-----------------------模型选项------------------------
                                                   
            resolution: 320                        
             face_type: wf                        
     models_opt_on_gpu: True                       
                 archi: df-ud                     
               ae_dims: 352                        
                e_dims: 96                        
                d_dims: 72                        
           d_mask_dims: 24                        
       masked_training: True                       
       eyes_mouth_prio: True                       
           uniform_yaw: True                       
         blur_out_mask: False                     
             adabelief: True                       
            lr_dropout: y                          
           random_warp: True                       
      random_hsv_power: 0.05                       
       true_face_power: 0.0                        
      face_style_power: 0.0                        
        bg_style_power: 0.0                        
               ct_mode: lct                        
              clipgrad: True                       
              pretrain: False                     
       autobackup_hour: 24                        
write_preview_history: False                     
           target_iter: 0                          
       random_src_flip: False                     
       random_dst_flip: False                     
            batch_size: 4                          
             gan_power: 0.0                        
        gan_patch_size: 36                        
              gan_dims: 16    


         
A组 采用论坛的 WF1024迪丽热巴,即src和dst均为这一素材。一路默认(就是6.11 高质量底丹的参数不要动),跑10分钟;
默认底丹参数:损失率0.2左右。(masked_training、adabelief、lr_dropout、clipgrad四个选项打开,

                  模型名字: come3.0_SAEHD              

                  当前迭代: 875102                     

-----------------------模型选项------------------------

            resolution: 320                        
             face_type: wf                        
     models_opt_on_gpu: True                       
                 archi: df-ud                     
               ae_dims: 352                        
                e_dims: 96                        
                d_dims: 72                        
           d_mask_dims: 24                        
       masked_training: True                       
       eyes_mouth_prio: False                     
           uniform_yaw: False                     
         blur_out_mask: False                     
             adabelief: True                       
            lr_dropout: y                          
           random_warp: False                     
      random_hsv_power: 0.0                        
       true_face_power: 0.0                        
      face_style_power: 0.0                        
        bg_style_power: 0.0                        
               ct_mode: none                       
              clipgrad: True                       
              pretrain: False                     
       autobackup_hour: 0                          
write_preview_history: False                     
           target_iter: 0                          
       random_src_flip: False                     
       random_dst_flip: False                     
            batch_size: 4                          
             gan_power: 0.0                        
        gan_patch_size: 36                        
              gan_dims: 16
  




B组 采
用论坛杨幂WF1536,即src和dst均为这一素材。一路默认(就是6.11 高质量底丹的参数不要动)跑10分钟。
默认底丹参数:(同上),损失率0.19和0.2左右。

模型名字: come3.0_SAEHD              
                                                   
                  当前迭代: 875033                     
                                                   
-----------------------模型选项------------------------
                                                   
            resolution: 320                        
             face_type: wf                        
     models_opt_on_gpu: True                       
                 archi: df-ud                     
               ae_dims: 352                        
                e_dims: 96                        
                d_dims: 72                        
           d_mask_dims: 24                        
       masked_training: True                       
       eyes_mouth_prio: False                     
           uniform_yaw: False                     
         blur_out_mask: False                     
             adabelief: True                       
            lr_dropout: y                          
           random_warp: False                     
      random_hsv_power: 0.0                        
       true_face_power: 0.0                        
      face_style_power: 0.0                        
        bg_style_power: 0.0                        
               ct_mode: none                       
              clipgrad: True                       
              pretrain: False                     
       autobackup_hour: 0                          
write_preview_history: False                     
           target_iter: 0                          
       random_src_flip: False                     
       random_dst_flip: False                     
            batch_size: 4                          
             gan_power: 0.0                        
        gan_patch_size: 36                        
              gan_dims: 16   
            
C组,采用论坛杨幂切WF1536. 用新的参数跑10分钟。损失率为0.9764和0.7700
face type : WF
random_flip : off
adabelief(AB优化器): 一直开
eyes_mouth_prio (眼嘴优先): 开
ct_mode: lct
RW 随机扭曲:开
masked_training: 开
Enable gradient clipping梯度裁剪:开
uniform_yaw(均匀侧脸): 开
bs:4
                                                 
                  模型名字: come3.0_SAEHD              
                                                   
                  当前迭代: 875050                     
                                                   
-----------------------模型选项------------------------
                                                   
            resolution: 320                        
             face_type: wf                        
     models_opt_on_gpu: True                       
                 archi: df-ud                     
               ae_dims: 352                        
                e_dims: 96                        
                d_dims: 72                        
           d_mask_dims: 24                        
       masked_training: True                       
       eyes_mouth_prio: True                       
           uniform_yaw: True                       
         blur_out_mask: False                     
             adabelief: True                       
            lr_dropout: n                          
           random_warp: True                       
      random_hsv_power: 0.0                        
       true_face_power: 0.0                        
      face_style_power: 0.0                        
        bg_style_power: 0.0                        
               ct_mode: lct                        
              clipgrad: True                       
              pretrain: False                     
       autobackup_hour: 0                          
write_preview_history: False                     
           target_iter: 0                          
       random_src_flip: False                     
       random_dst_flip: False                     
            batch_size: 4                          
             gan_power: 0.0                        
        gan_patch_size: 36                        
              gan_dims: 16            


D组,采用论坛迪丽热巴WF1024,用新的参数跑10分钟,损失率为:0.7546,0.8541


face type : WF
random_flip : off
adabelief(AB优化器): 一直开
eyes_mouth_prio (眼嘴优先): 开
ct_mode: lct
RW 随机扭曲:开
masked_training: 开
Enable gradient clipping梯度裁剪:开
uniform_yaw(均匀侧脸): 开
bs:4


=========================模型概要==========================
                                                   
                  模型名字: come3.0_SAEHD              
                                                   
                  当前迭代: 875249                     
                                                   
-----------------------模型选项------------------------
                                                   
            resolution: 320                        
             face_type: wf                        
     models_opt_on_gpu: True                       
                 archi: df-ud                     
               ae_dims: 352                        
                e_dims: 96                        
                d_dims: 72                        
           d_mask_dims: 24                        
       masked_training: True                       
       eyes_mouth_prio: True                       
           uniform_yaw: True                       
         blur_out_mask: False                     
             adabelief: True                       
            lr_dropout: n                          
           random_warp: True                       
      random_hsv_power: 0.0                        
       true_face_power: 0.0                        
      face_style_power: 0.0                        
        bg_style_power: 0.0                        
               ct_mode: lct                        
              clipgrad: True                       
              pretrain: False                     
       autobackup_hour: 0                          
write_preview_history: False                     
           target_iter: 0                          
       random_src_flip: False                     
       random_dst_flip: False                     
            batch_size: 4                          
             gan_power: 0.0                        
        gan_patch_size: 36                        
              gan_dims: 16               


用论坛的东方女性底丹尝试炼制杨幂专丹,用的猫之汉化版本,采用的src和dst同样素材对炼,素材来源于论坛【杜比4K杨幂】全角度覆盖12700张和26500张,https://dfldata.cc/forum.php?mod=viewthread&tid=11123)
目前迭代135万次,只进到第一步,开了扭曲、眼嘴和侧脸,梯度剪裁135万次后开启,尚未开启学习率炼习,损失率在0.4624和0.4000。

逐步更新炼制迭代和预览图,大家讨论下如何将此丹炼制更清晰,好的建议提供者,将免费提供专丹。
按照建议正准备将1536图片切脸成1024再次开始进行第一步。
用论坛魔脸切速度快,但丢失了一些图片。1536是26542张,使用魔脸快切成1024时只有25603张,丢失那些图片不知道,同时又将一张图片切成2张。现用MVE重新切一次。















1689037118189.png
1689037125339.png
B组.png
C组1.png
C组损失率.png
D组.png
D组损失率.png
140万迭代.png
140万迭代2.png
回复

使用道具 举报

11

主题

123

帖子

1664

积分

初级丹圣

Rank: 8Rank: 8

积分
1664

万事如意节日勋章

 楼主| 发表于 2023-7-10 15:41:52 | 显示全部楼层
come3002 发表于 2023-7-10 12:42
当然不同的人不同的练法。还是要及时备份,并看合成作品来对比。

6.11 高质量  古力 105w迭代(从87w开始 ...

受教了,改方法试下。
回复 支持 反对

使用道具 举报

0

主题

142

帖子

-9万

积分

禁止访问

积分
-99274
发表于 2023-7-10 13:12:06 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 支持 1 反对 1

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-7-10 14:41:53 | 显示全部楼层
本帖最后由 come3002 于 2023-7-10 15:01 编辑
seancai110 发表于 2023-7-10 14:05
没必要压缩到1024啊,最后都会缩放到丹的分辨率320

我这个底丹炼制时候,用的论坛提供的 WF1024. 目的就是使得条件相对统一。
(我自己有 WF1536,也有2048 一张没用)。

之前有坛友发现 这个底丹跑 低质量的512,出结果很慢。
我测试了很久,发现。用的 512, 包含的信息肯定要远远少于坛友上传的 一般4KWF1024.
这样最后虽然压缩到320了。但是包含的信息跟底丹炼制时候远远不一致了。
相当于初学生做 小学题。故而相当于重新炼制一样。
那么逆向思维。假如 用的是版主的 杜比世界切割的WF1536杨幂的头像. 包含的信息肯定要远远多于坛友上传的 一般4KWF1024.
这样最后虽然压缩到320了。但是包含的信息跟底丹炼制时候也远远不一致了。
相当于初学生做 高中题。故而也相当于重新炼制一样。
我的观点是先易后难。有多大本事做多大的事。先压缩到1024,跟底丹用的素材相对WF1024一致,相当于初中学生做一套初中题。目的是跑的快。之后需要更多嘴唇纹理,睫毛时候。再用杜比世界切的WF1536 覆写1024(因为是1536压缩的1024底子,故而会学的特别快)
简言之,先上压缩版1024,跟底丹信息接近出轮廓、部分细节和光影,

再换杜比视界WF1536出嘴唇、眉毛等细节.
或许能节约一部分迭代或时间。
(个人观点,仅供参考)


回复 支持 0 反对 1

使用道具 举报

5

主题

72

帖子

1673

积分

初级丹圣

Rank: 8Rank: 8

积分
1673
发表于 2023-7-10 12:02:08 | 显示全部楼层
bs加大
回复

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-7-10 12:11:04 | 显示全部楼层
本帖最后由 come3002 于 2023-7-10 15:04 编辑

感觉楼主方法被某些坛友带偏了。

多看坛主的步骤:

建议1:
按照坛主步骤跑一下。
比如在10w迭代就开学习率。


360截图20230710115241519.jpg

建议2:
东方女性底丹320dfud 主体是WF1024炼制(全程没用一张WF1536),所以建议先把杨幂压缩到1024

(如果直接用版主的WF1536可能相当于重新覆写以前信息)。
有了杨幂WF1024的底子,之后;某些要眉毛、嘴唇纹理时候,换 杜比世界WF1536. 出更多细节。
我这个底丹炼制时候,用的论坛提供的 WF1024. 目的就是使得条件相对统一。
(我自己有 WF1536,也有2048 一张没用)。

之前有坛友发现 这个底丹跑 低质量的512,出结果很慢。
我测试了很久,发现。用的 512, 包含的信息肯定要远远少于坛友上传的 一般4KWF1024.
这样最后虽然压缩到320了。但是包含的信息跟底丹炼制时候远远不一致了。
相当于初学生做 小学题。故而相当于重新炼制一样。
那么逆向思维。假如 用的是版主的 杜比世界切割的WF1536杨幂的头像. 包含的信息肯定要远远多于坛友上传的 一般4KWF1024.
这样最后虽然压缩到320了。但是包含的信息跟底丹炼制时候也远远不一致了。
相当于初学生做 高中题。故而也相当于重新炼制一样。
我的观点是先易后难。有多大本事做多大的事。先压缩到1024,跟底丹用的素材相对WF1024一致,相当于初中学生做一套初中题。目的是跑的快。之后需要更多嘴唇纹理,睫毛时候。再用杜比世界切的WF1536 覆写1024(因为是1536压缩的1024底子,故而会学的特别快)
简言之,先上压缩版1024,跟底丹信息接近出轮廓、部分细节和光影,

再换杜比视界WF1536出嘴唇、眉毛等细节.
或许能节约一部分迭代或时间。
(个人观点,仅供参考)



我用WF1024古力 跑 6.11高质量 。底丹是87w迭代大约107w从开始训练到20w 降到了 0.10

360截图20230710120449804.jpg
360截图20230710120755636.jpg

古力底丹 跑到 0.1.jpg

这是 105w 迭代的一个备份的参数供楼主参考

这105相当于18w,属于坛主的前期

之所以开bs4。 目的是学的快


模型名字: come3.0_SAEHD           
                                                
                  当前迭代: 1051084                 
                                                
----------------------模型选项----------------------
                                                
            resolution: 320                     
             face_type: wf                     
     models_opt_on_gpu: True                    
                 archi: df-ud                  
               ae_dims: 352                     
                e_dims: 96                     
                d_dims: 72                     
           d_mask_dims: 24                     
       masked_training: True                    
       eyes_mouth_prio: False                  
           uniform_yaw: False                  
         blur_out_mask: False                  
             adabelief: True                    
            lr_dropout: y                       
           random_warp: False                  
      random_hsv_power: 0.0                     
       true_face_power: 0.0                     
      face_style_power: 0.0                     
        bg_style_power: 0.0                     
               ct_mode: none                    
              clipgrad: True                    
              pretrain: False                  
       autobackup_hour: 0                       
write_preview_history: False                  
           target_iter: 0                       
       random_src_flip: False                  
       random_dst_flip: False                  
            batch_size: 4                       
             gan_power: 0.0                     
        gan_patch_size: 36                     
              gan_dims: 16                     
                                                
----------------------运行信息----------------------
                                                
                  设备编号: 0                       
                  设备名称: NVIDIA GeForce RTX 3090
                  显存大小: 21.15GB                 











回复 支持 反对

使用道具 举报

15

主题

1921

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
27057

万事如意节日勋章

发表于 2023-7-10 12:42:42 | 显示全部楼层
本帖最后由 come3002 于 2023-7-10 15:24 编辑
come3002 发表于 2023-7-10 12:11
建议1:
东方女性底丹320dfud 主体是WF1024炼制(全程没用一张WF1536),所以建议先把杨幂压缩到1024。
( ...

当然不同的人不同的练法。还是要及时备份,并看合成作品来对比。

6.11 高质量  古力 105w迭代(从87w开始大约18w) 降到0.1。

4K 近景WF1536 测试
零训练、直接合成 测试。
左1 自闭 林允儿                             大约55w迭代   累计不清楚
左2 江疏影 坛主224转专丹             不清楚              累计350w
左3 6.11高质量转古力娜扎 loss 0.1, 大约18w迭代。 累计105w
细节看。三者光影接近,细节接近。江疏影由于是liae 斑点更明显。

结论:6.11高质量 古力娜扎 18w 已经等同于坛友的 自闭林允儿、江疏影224. 并满足一般的4k近景换脸需求。
自闭 林允儿 江疏影坛主转专丹 6.11高质量 古力.jpg

樱花国换脸虚影测试



上: 18w 古力(这18w只用 古力做SRC、DST)
下:江疏影 坛主底丹转专丹
结果 江疏影 出现不规则虚影(眉毛和下巴处无虚影)
6.11 高质量 虚影测试.jpg
结论:6.11高质量  对樱花国换脸能一定程度上减少虚影 。
众所周知很多人玩就是目的樱花国视频。但是抖动和虚影影响感观。
6.11能一定程度减少樱花国 虚影/抖动 意义就大了。
我下载了大约40个专丹。并很多樱花国4k 60fps DST测试用
从中学习了很多。限于篇幅不一一列举








回复 支持 反对

使用道具 举报

5

主题

90

帖子

1685

积分

初级丹圣

Rank: 8Rank: 8

积分
1685
发表于 2023-7-10 13:27:45 | 显示全部楼层
观摩观摩
回复

使用道具 举报

13

主题

1049

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
12735
发表于 2023-7-10 14:05:51 | 显示全部楼层
come3002 发表于 2023-7-10 12:11
建议1:
东方女性底丹320dfud 主体是WF1024炼制(全程没用一张WF1536),所以建议先把杨幂压缩到1024。
( ...

没必要压缩到1024啊,最后都会缩放到丹的分辨率320
回复 支持 反对

使用道具 举报

3

主题

79

帖子

882

积分

高级丹师

Rank: 5Rank: 5

积分
882
发表于 2023-7-10 14:14:43 | 显示全部楼层
请教一下2060卡训练大概多长时间一次?
回复 支持 反对

使用道具 举报

11

主题

123

帖子

1664

积分

初级丹圣

Rank: 8Rank: 8

积分
1664

万事如意节日勋章

 楼主| 发表于 2023-7-10 15:38:25 | 显示全部楼层
davio 发表于 2023-7-10 13:12
你被严重带偏了,方法80%都是错误的

正确的方法是?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-24 11:36 , Processed in 0.149347 second(s), 42 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表