deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
123
返回列表 发新帖
楼主: come3002

256dfud, 修改liae,杂交df-liae的 实验初探。

[复制链接]

16

主题

2097

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
33039

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-10-1 20:08:27 | 显示全部楼层
本帖最后由 come3002 于 2026-10-17 07:58 编辑
mzh920 发表于 2026-10-1 19:18
非常感谢,解答的很详细,很专业,照你说的我直接提到384测试,之前素材对于效率的影响确实没有注意到, ...

应该做的,一起学习。

保留inter 修改到384后的对联丹。
保留默认的 src 全包 较丰富的角度,较丰富的光影,比如 10000张, 训练足够后如 5w 10w 20,找 新dst 合成测试。如果 5w 10w 20w 对联发现 一些细节提升了。说明素材质量可以 在 384下 发挥其作用,备份modelA。


但是一些细节如嘴唇纹理出不来。有个 对联用的 小技巧()。


第一步:把 src 所有 嘴唇纹理的 图片 搜集一遍。做嘴唇纹理包 比如500张。
利用 modelA,src移走全包只放嘴唇纹理包,dst也只放 该src的嘴唇纹理包对联,500迭代;目的,强化 src和dst 的嘴唇纹理的权重。
同时对联,完成 带嘴唇纹理的人脸 的匹配。

第二步换成 全包 10000张,移走嘴唇纹理包。换回 全包,对联 500迭代;
目的,恢复 src和dst的全包权重。同时对联,完成 全包的 人脸的匹配
第三步 再换成 跑嘴唇纹理 1000迭代,再跑全包1000迭代。
........


以上数据 仅供参考,不同src 可能 迭代不同。思路是交替训练,迭代逐步累加。通过以上的交替的训练几十万左右足够的训练,有机会出 既继承 全包信息,又有 较好 嘴唇纹理信息,做到 两者兼顾的 优质 model,并备份 modelB(嘴唇纹理)。


假设 384dfud AE 352以上,80 80 以上。理论上  无gan下, 一些角度可练嘴唇纹理 8-12道。
384dfud AE 320以上,72 72 以上。理论 无gan下,一些角度 可以练 4-8道嘴唇纹理。

如果 是 AE 256,64 64 . 就算了  。炼制 嘴唇纹理的 2-4道,意义不是很大,建议放弃。




【备选方案】【仅限对联丹】
该 嘴唇纹理B  对联丹炼制好后。再在其继承上,进行其他方面的强化。
如 src 有足量睫毛,可继续训练 对联 睫毛。

如 src 光影欠缺。使用剪映 强化光影src 得到 强化光影包 500张。可继续 训练 光影。
仅以光影为例。

工具:剪映。常用于 对src 修改光影、以丰富 src的光影。
如下图,剪映打光,从而丰富src的光影(增加src光影的备选方案)



360截图20261002100342921.jpg

这个略有不同  src新全包 基础的10000+src 光影包=10500张。

第一步:把 src 所有 稀有的 图片 搜集一遍比如 100。加SRC 剪映光影包 比如500张。光影包=原有抽取的稀有100+src剪映获得500=600张。
利用 modelA,src移走全包只放光影包600张,dst也只放 该src的光影包对联,500迭代;目的,强化 src和dst 的稀有光影的权重。
同时对联,完成 带稀有光影的人脸 的匹配。

第二步换成 新全包 10500张(基础10000+src 剪映光影500),移走光影包。换回 全包,对联 500迭代;
目的,恢复 src和dst的新全包权重。同时对联,完成 新全包的 人脸的匹配
第三步 再换成 光影包 600张对联, 1000迭代,之后再跑全包1000迭代。



以上数据 仅供参考,不同src 可能 迭代不同。思路是交替训练,迭代逐步累加。通过以上的交替的训练几十万左右足够的训练,有机会出 既继承 全包信息,又有 较好 嘴唇纹理信息,还能光影比较好、
极为 优质 model,并备份 modelC( 嘴唇纹理、补过光影)。

一点建议,对联丹 炼制,
思路一、先易后难,先 下牙齿 ,再练出 嘴唇纹理,之后考虑睫毛
思路二、所用素材, 先用手头资源再用 其他工具 补充的src,备份好。再考虑如补充光影炼制放后面训练为佳。
思路三、256dfud/224liae512 小分辨率 丹等练好。再考虑 修改分辨率320dfud/320liae512 并 在其后 修改DD强化细节。
【备选】224liae先修分辨率320liae512 , 再修改DD进一步提升细节.(wx888大佬 提供 内测修改DD机会)。
现在显卡很贵。8G显卡笔记本都是 1w起步。
相同的model,显卡占用从原版旧版 需要14G显存变成4.7G显存。
相当于5080 16G显存 2w块的显存笔记本才能开的model。老旧的 3060 6g显存轻松 能开起来。
在电脑显卡不变基础上,原来旧版原版 bs1 需要 13.8G 显存。现在 同一个model ,新版torch开到了bs128. 才12.1G显存.
bs144.  13.6G。就以  13.8g为参考,训练的效率也会提升巨大。
对比图片如下。
360截图20261004095338385.jpg

360截图20261004093943590.jpg



如果 细节比较不错了。还想再进一步,也能把dd的64改成DD 更高的 80、96、128等.能再 一定幅度上提升人脸的细节学习能力。
(下图 是我 新建丹,炼制中 细节看 不错了,睫毛和其他细节都出了。当然也随时可以提升DD)

360截图20261017075400258.jpg



修改实例。坛主的224liae'丹修改dd。
如测试的是 320(坛主丹修改224liae→320)liae 512 64 128(64→128) 32.
这里 把DD64改成了128试试。(wx888大佬 提供 内测机会)


关闭随机扭曲丹,默认参数,跑几百迭代 后。
侧脸恢复、光影 恢复。清晰上牙齿和、4-5道下牙齿痕迹。
360截图20261003101633753.jpg
224liae512 64 64 32→ 320liae512 64 128 32,随机扭曲丹。开随机扭曲,也能修改DD,快速 随机扭曲出 src的下牙齿。
测试发现修改DD,仅仅十分钟就恢复 下牙齿。(修改过DD的能懂,这意味着什么)

360截图20261003113106903.jpg



对224liae等老丹节约显存巨大、提升效率巨大,同时修改分辨率,修改DD等 效率极高,操作简单、并还有极高的提升空间。









回复 支持 反对

使用道具 举报

48

主题

296

帖子

2341

积分

初级丹圣

Rank: 8Rank: 8

积分
2341
发表于 2026-10-15 17:03:32 | 显示全部楼层
come3002 发表于 2026-8-20 08:34
方案一:Torch版本不识别,就换 另一个链接内的DML版本。也支持修改分辨率。
还是不识别换成其他版本

df和 liae 的 encoder/decoder 结构完全相同(只是中间层不同:DF 一组 inter,liae 是 inter_AB + inter_B 两组)。所以 D转liae 转换在文件层面可行:encoder/decoder 直接迁移、DF 的 inter 拷给 inter_AB(维度匹配)、inter_B 从零,但是实验组是 "继承 44w 预训练 + 6w 正训的 dfud",对照组是 "从零新建 liae"你这个起点完全不对等啊,实验组快是必然的。这只能证明 "预训练 / 正训权重有迁移价值",不能证明df和liae 转换这个动作本身有魔法啊。另外文件拼接在加载层面肯定能过(key 齐全、shape 匹配就行)。但 "某个分支极像 src"—— 这是随机初始化扰动 + 早期停止 + 选择偏差(你似乎只展示成功的那个分支,失败的一堆没有提到),不是 "df 相似度 + liae 光影" 的物理叠加。所以杂交(df 文件 + liae 文件拼接):加载必然通过;"极像 src 分支"= 初始化彩票 + 早期停止 + 只晒成功样本,无因果可言,就你这个层面看,似乎投入研究的意义不大,不如采用模型复用更好、
回复 支持 反对

使用道具 举报

16

主题

2097

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
33039

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-10-15 23:43:41 | 显示全部楼层
本帖最后由 come3002 于 2026-10-16 00:22 编辑
day270010678 发表于 2026-10-15 17:03
df和 liae 的 encoder/decoder 结构完全相同(只是中间层不同:DF 一组 inter,liae 是 inter_AB + inter ...

您说的也有实际体验。那就是 复用是性价比最高的。
确实这样。比如 224liae 512  是很多迭代打底,然后 复用就说好用就说快。因为我也 用 坛主的刘天仙 224liae 512 复用。


每个人的练法不同。思路也不可能相同。
若别人只有一种快速又较好练法(复用法 有复用的基础流程是最好的),当然结果 是炼制的 80%能力。甚至更低。
若 超过80%的细节,细节上来了。可能 相似度就大大下降。


为了接近别人的效果或达到更高的 程度。这就有了第二种可能。自练。新建从零训练也有多种练法。我就说基于想得到接近坛主的丹才想到炼制。


标准是什么?如何发现的是否接近? 我准备好了 一些资源。 用坛主liae 复用 ,发现随机扭曲 出睫毛难。224liae 512 出睫毛我经过很长时间都没有复用成功。
为了搞清楚原因。我从零炼制了一下。储备一点思路和素材。机缘巧合256df ,发现的 44w 出 睫毛4根。
那么好了,整理的思路。又做了一点尝试。巧了。随机扭曲下,很快就出睫毛了。
我需要感谢 复用 坛主224liae。让我知道一些规律。没有规律 ,没有尝试,没有打破的机会。


复用坛主224 和自己的 256后,一点尝试。
整理思路。再次 从零迭代(所用的图片是 失败一次次中 整理剩下的。),从新炼制开启新的炼制截图如下。
随机扭曲 出 4根清晰睫毛。相比 256df 更厉害了。


360截图20261015231432786.jpg
来点眼镜。 随机扭曲截图
360截图20261015233242568.jpg

来电不一样的 ,也是 睫毛。也是 随机扭曲。
360截图20261015233259688.jpg



同理。df转liae 也是一种尝试。可能吧。有努力加准备可能有成功有失败,也可能有的达不到效果。
dfl 中很正常。我的 上述图看似简单。我跑了3 个 从零训练。前2个都不是满意。这是 第三个。




“你似乎只展示成功的那个分支,失败的一堆没有提到”) 。说到心里了。我感同身受,经历的,真实写照。
之前 为了 提高相似度。失败了更多。
看似 有相似度提升分支。但是倒下的 废的 有许多许多。。

很多 就跑跑测试 移动到硬盘力吃灰。存了好几T的 各种各样的分支或废丹。
有感觉了,就跑。没感觉就停。丹练了一堆。剩下的好分支没几个,真正换脸的樱花没几个。
001454ozotlrmjin4lo4fi.jpg


第三次 从零新建并训练的丹,并且还在跑。或许会是失败,也或许会有进步呢?
360截图20261016001822060.jpg


360截图20261016001944097.jpg


回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2026-11-17 08:43 , Processed in 0.120054 second(s), 29 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表