deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1434|回复: 98

古力娜扎 512 liae-udt-wf 100w+迭代

  [复制链接]

28

主题

281

帖子

2453

积分

初级丹圣

Rank: 8Rank: 8

积分
2453

万事如意节日勋章

QQ
 楼主| 发表于 2024-3-3 22:23:57 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:5  参与人数:2  我的评分:未评
本帖最后由 Pxhpanic 于 2024-4-9 19:01 编辑

前言:建议在dfl live中 用头像文件也就是aligned下的图片测试,以免觉得这个丹一无是处,没几个丹能直接裸换出很好的效果的
目前也只有看见滚石的几个dfm丹能直接对一张普通图片泛化出比较好的效果

time:3个月  
nvidia A10 单精度只有20几(印象中),dfl项目中训练迭代的速度与单精度强相关,因此bs来到16时6、7秒迭代一次 所以百万迭代时间将近就3个月了,更不用说我还分成两个路线训练(下面会说到)
这差不多是刚开始训练的时间:准备练512的liae专丹了有谁想劝劝我吗-【DFL】综合讨论-deepfacelab中文网 - Powered by Discuz! (dfldata.cc)
于去年十一月份左右训练完成的



src by:
古力娜扎 WF 1024x1024 4K截取 14000张 5G 《风气霓裳》送768x768-【DFL】SRC素材-deepfacelab中文网 - Powered by Discuz! (dfldata.cc)


dst by:FFHQ(去男性、墨镜、怪妆等精选20000多张) + 高质量复用神丹liae320(已删AB)-【DFL】模型分享-deepfacelab中文网 - Powered by Discuz! (dfldata.cc)
一个练泛化,一个补角度和光影  这两个是能找到的免费的最好用的素材了
不是全部扔一起练,分批练的



model by:【全角度】Liae-512-UDT_wf_320_80_80_629w迭代,正训代预训-【DFL】模型分享-deepfacelab中文网 - Powered by Discuz! (dfldata.cc)
这是非常优秀的底丹,说是我用过最好的丹也不为过 仅售价999零食 我觉得999rmb都值


train by:【魔改增强版】DeepFaceLabMe_2022_RG_Ver2.55V2_(2022.9.16更新)-【DFL】软件下载-deepfacelab中文网 - Powered by Discuz! (dfldata.cc)
收益匪浅的项目  由于很长一段时间内,ice_linux仅更新至1.6 所以一直在玩老saehd的丹


废话不多说,大致介绍一下训练过程:
首先删ab bs=4 迭代3-4w人脸图像较为清晰 -> bs=16迭代 100w (我之所以使用这么大的bs,是因为之前有记得kingboy教授说过可以用模型查看工具看到512及以上的模型后期在bs小于16时基本上深层的采样是空白的没有任何东西可以学,模型也难以接近收敛。中后期需要高的bs来单次迭代累计梯度,dfl是梯度下降流,当梯度累计太低,是更新不了训练参数的,就是在白打工、无效训练)


几个老生常谈的问题:



模型结构:liae-udt  其中u、d很容易查到也没什么误会不再赘述
参数 't'  似乎大家对它的误会有点深
+t 就是编码器增加三层残差网络,多几层训练层提取更多特征,可稳定模型性能在一个范围,对于低端gpu长期迭代模型性能不至于下降太厉害

本质上t一种兜底策略,模型已经学成这样,可能是最优的解。在给你一些复杂的学习层去学习,也不至于效果下降太厉。他是性能工具,越高端大模型越普遍使用,现在sd扩散放大器都在用。真脸是什么?真脸的结构是微小gan,他的目标是训练过程中形成结果偏向。 和gan是一类的。都影响像素画质。



为什么素材要分批?
训练、迭代的本质是在刷新而不是在累积,当素材量太大,就会重复更新区域特征,后面的还没跑前面的特征已经被洗掉了,Loss平滑的这个参数的存在就是为了抛弃掉权值高的素材


如何训练出清晰下牙?
不要搞那些花里胡哨的的方法
把src有下牙的素材全部提取出来,打开扭曲和眼嘴优先训练这部分src



-------------------------------------------------------------------------------------------------------分割线------------------------------------------------------------------------------------------


放预览:
dfm: ``XYB{X23~FM`H~{XP44C.png 不知道这个大小大家能否看到唇纹?   在dfl live中是不能用图像增强工具作弊,因此预览比较真实,欢迎大家用aligned文件夹下的头像测试清晰度等




原模型合成预览(不经过训练,直接参与合成): 512模型当然是上来直接怼脸啦: G0TJDJAWVUH18C3KPX%PU7.png 可以看到合成面板仅使用了遮罩,无任何改动,清晰下牙唇纹!(眼睫毛实在练不出来)    




按T超分辨50后: 3.png       


按T超分辨100后: 4.png 不知道大伙能否看到隐隐约约的法令纹出来了


-------------------------------------------------------------------------------------------------------分割线-------------------------------------------------------------------------------------------


模型文件预览:

你将得到这些模型:
1: 5.png     (这是最后一次扭曲,训练40w,来到668w,如果你对模型不满意可从此选择素材继续训练)



2: 6.png     (这是个小分界线[后面分成了gan和非gan两个路线进行训练的底丹],关扭曲训练23w,来到691w)



3: 7.png    (接着上面的2丹,关扭曲训练31w,来到722w)   



4: 8.png   (接着上面的2丹,关扭曲开gan训练41w,来到732w,自我感觉没不开gan的效果好)                           


-------------------------------------------------------------------------------------------------------分割线-------------------------------------------------------------------------------------------------------


声明:本模型分享初衷为学习交流,本模型不接受任何货币交易,本人也未从该模型获得任何收益,训练模型所使用的素材均由开源共享数据集获取,使用我分享的模型的使用者,进行训练及应用的所有视频、图片等素材相关数据集合都应遵守数据集所有者权益,并获得这些数据所有者授权。我所分享的模型严禁用于处理、加工、创作涉及政治目色情、低俗等不限于列出的所有国家法律、及损害他人所有利益行为的任何数据形态作品。因不能遵守,模型使用要求,使用人违法上述行为导致产生一切法律、经济责任由使用者全部承担。使用该模型视为同意上述要求。


游客,如果您要查看本帖隐藏内容请回复









评分

参与人数 1贡献 +1 收起 理由
yinshan2024 + 1 太棒辣!

查看全部评分

回复

使用道具 举报

28

主题

281

帖子

2453

积分

初级丹圣

Rank: 8Rank: 8

积分
2453

万事如意节日勋章

QQ
 楼主| 发表于 2024-3-26 09:08:59 | 显示全部楼层
源saehd liae模型请用优质素材与我交换
回复 支持 2 反对 0

使用道具 举报

15

主题

1773

帖子

2万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
23132

万事如意节日勋章

发表于 2024-3-3 23:23:00 | 显示全部楼层
本帖最后由 come3002 于 2024-3-3 23:44 编辑

感谢分享。底单512 liae 的丹是非常牛的。
楼主用 的是我 练手阶段切的4k古力娜扎 WF 1024x1024 4K截取 14000张 5G 《风气霓裳》




故,特此更正一下。

如果使用发现换脸后 古力的 睫毛和眉毛较差。跟 底丹和楼主无关。可能跟我切的古丽娜扎 素材 资源有限,切的 睫毛 眉毛细节不够好有关。
相同底单下,以另外一个明星做SRC,古力做DST,
(只开随机扭曲,无gan)
360截图20240303230621984.jpg


352模型分辨率下,眉毛细节较好,睫毛效果较好
大约看到 4-6根清晰的长睫毛
360截图20240204223502078.jpg

以 古力做SRC,另外一个明星做DST,

(只开随机扭曲,无gan。合成开相同参数。
结果:眉毛较差,睫毛较差。
讨论:睫毛区域,能看到古力 有画过的眼影痕迹,可能导致睫毛效果较差。另外剧中似乎也用眉笔画过眉毛,导致眉毛细节损失。
360截图20240202103721418.jpg















回复 支持 1 反对 0

使用道具 举报

0

主题

1473

帖子

8215

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
8215

万事如意节日勋章

发表于 2024-3-3 22:31:36 | 显示全部楼层
支持一下楼主,感觉当前的排版,似乎还可以优化一下,比如有些图片后的文字另起一行。
回复 支持 反对

使用道具 举报

0

主题

2

帖子

46

积分

初级丹童

Rank: 1

积分
46
发表于 2024-3-3 22:31:46 | 显示全部楼层
试试dfm看
回复

使用道具 举报

28

主题

281

帖子

2453

积分

初级丹圣

Rank: 8Rank: 8

积分
2453

万事如意节日勋章

QQ
 楼主| 发表于 2024-3-3 22:35:55 | 显示全部楼层
HXIAOH 发表于 2024-3-3 22:31
支持一下楼主,感觉当前的排版,似乎还可以优化一下,比如有些图片后的文字另起一行。 ...

在我的屏幕看起来是好的
回复 支持 反对

使用道具 举报

14

主题

110

帖子

1758

积分

初级丹圣

Rank: 8Rank: 8

积分
1758

万事如意节日勋章

QQ
发表于 2024-3-3 23:07:41 | 显示全部楼层
支持楼主支持楼主
回复 支持 反对

使用道具 举报

6

主题

174

帖子

1145

积分

初级丹圣

Rank: 8Rank: 8

积分
1145

万事如意节日勋章

发表于 2024-3-3 23:08:34 | 显示全部楼层
厉害厉害,学习
回复 支持 反对

使用道具 举报

2

主题

31

帖子

241

积分

初级丹师

Rank: 3Rank: 3

积分
241

万事如意节日勋章

发表于 2024-3-3 23:27:58 | 显示全部楼层
谢谢分享
回复

使用道具 举报

0

主题

391

帖子

2421

积分

初级丹圣

Rank: 8Rank: 8

积分
2421

万事如意节日勋章

发表于 2024-3-3 23:33:18 | 显示全部楼层
感谢分享
回复

使用道具 举报

27

主题

190

帖子

1179

积分

初级丹圣

Rank: 8Rank: 8

积分
1179

万事如意节日勋章

发表于 2024-3-3 23:39:57 | 显示全部楼层

支持一下楼主
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-4-19 16:50 , Processed in 0.101323 second(s), 15 queries , Redis On.

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表