deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1183|回复: 20

256dfud, 修改liae,杂交df-liae的 实验初探。

[复制链接]

16

主题

2057

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
32319

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-8-17 12:25:05 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
本帖最后由 come3002 于 2026-9-4 15:35 编辑

声明:此法 不适合直播,只是 本地 换脸樱花的一个变化方法。
8.17    256dfud,修改 liae,杂交df-liae 实验初探。

dfl的是樱花换脸的重要工具。模型 原版常用分两大类分支。 DF极高的相似度(牺牲光影),和liae 极为优质的光影(牺牲相似度)。
传统印象,DF/liae 在 建立模型,类别 分辨率和四维一旦确定。无法改变。走了分支后,要么一口气连到底,要么半路放弃,重新炼制新的丹。

6月到现在,前期对修改 模型分辨率做了预实验。对修改四维的也做了尝试,发现能支持修改。并在修改后发现有信息继承的作用。
前期图文实验:https://dfldata.cc/forum.php?mod ... =1&extra=#pid513046
    对模型的 修改分辨率和DD的修改大大拓宽了model的灵活运用。但是model更大的拦路虎, DF→liae 的界限却 尚未涉及。
      本着实验性的原则,对256dfud384 96 96 28 model 参数中的 DF 进行修改为256/高级352/极限512 liae-ud 384 96 96 28;对256dfud修改256liae训练7w迭代。256dfud和256liae前后相似度,光影进行了一定量的实验对比;全程自己炼制,从预训练 炼制出下牙齿等后,尝试以下牙齿、 上磨牙等标志物找寻 预训练-正训-修改分辨率-修改类别中,探秘继承信息和信息传递的线索 ;找寻“DF→liae修改类型+修改分辨率(256dfud-352dfud;256liae-352liae)混合模式下合适修改方案。从中尝试得到 一个或多个 预训练-正序-修改分辨率-修改类别 备选方案;
     杂交df-liae实验。利用  两大专能分支DF(专注 极致相似度 但光影差 炼制快)-Liae(专注优质光影 但相似度差 炼制慢)model为基础;大胆进行 df-liae文件进行拼接,得到 df-liae杂交丹。其中一个分支拼接丹 训练樱花 出现 跟src相似度极高的新效果的liae杂交丹。说明不仅仅是DF→修改为liae一条通路。而是DF 和liae 文件 有概率文件的拼接各种组合 出新效果。以期得到即 既炼制简单、又能 樱花换脸时 表现极致相似度,还优质光影的全复合型兼顾效果model 为我所用
。
      借着新版Torch大大节约显存的东风,来 对DFl类别修改DF→liae ,分辨率修改+ 提升 四维DD,摸索更全面更可行的练丹道理,尽可能的挽回一些 上来就类别 分辨率 等 设置上 失误 的model,降低从零重建的损耗失误成本,减少 时间和算力损失,提高创建效率。
(注:本贴进行的 修改分辨率。工具: wx8888 大佬的 新版 Torch ;提供两套中,选择的第一套保留inter 的方案,而第二套是删除inter 需要大量迭代炼制不符合 我的 快速炼制的初衷,故未利用第二套删inter办法。)

后记:对 樱花换脸,换脸速度快是根本,
相似度是根本。我跑废了多个丹,发现传统 的dfud转liae意义不大。
原理:传统的 dfud ,要经过单src-多人 dst。关闭随机后,时间长,相似度就会下降(假设7-8成);用这样的 相似度下降的丹,再转移 liae,
本质是传统的dfud丹inter里 记录的 是 单人src向 dst多人迁移 信息。转移到liae,然而liae  inter AB 要记录的是 dst多人向src 迁移。结果给的信息不是它需要的,而是反着的,是矛盾的。就相当于 被污染。相似度会再次下降。能剩下 5-6成相似度就不错了。

这可好,要提高相似度,清除之前污染,必然要多次删除interAB;转liae后,传统 liae src-dst多人杂图 开随机扭曲 也会 向 dst迁移,还要50w一删除interAB。。。。
故传统dfud丹,去做转移,不删interAB要相似度没相似度(5成相似度,换脸意义就没了),删除interAB要效率没效率(反复删除interAB),炼丹的意义就没了。这样做纯属瞎折腾,没啥用。所以 ,之前没人用。
算来算去,真要用传统丹改去,还不如 找 一个 liae底单直接跑算了,反正 liae 换人,开随机扭曲 就要 删interAB,练练就要删interAB。

我的炼制转移liae前提 速度快,相似度高。256dfud正训6w转移前srcB-srcB炼制选择相似度最佳版本,转移liae后还是 srcB-srcB就没练过别人,自然没有污染,并能继承之前炼制随机扭曲等,自然不需要 interAB。
果然,测试发现 256liae跑了7.3w,其中随机扭曲也就5000迭代 跑出 4道下牙齿.。统计 256dfud正训+256liae 累计跑了 6w+7.3w=13.3w。13.3w根本不算什么。跑废了也不心疼。极大提升速度和效率,保留了dfud时期极致相似度还获得一定光影改善。
另外分辨率也可以提升啊。 256dfud →320/352dfud 修改分辨率,也用wx888 大佬的 修改模式一 保留inter 神器。测试发现 之前的 随机扭曲 关扭曲等都可以保存基础上,短期也能炼制更好的观感。

修改分辨率,极高的信息传递效率实验证据1。以256dfud 修改到 320/480dfud 为例(wx888 新版Torch 修改分辨率的 第一项
保留inter 神器),
没错这个256修改为分辨率320dfud model,以下牙齿为参照物,bs16出4-5道下牙齿,只要700+迭代!(524250-4973)
再修改为分辨率480dfud model,以下牙齿为参照物,bs8出4-5道下牙齿,只要1200+迭代!(525800-527026)

360截图20260821172100374.jpg

360截图20260821184520006.jpg

证据2 反向 修改分辨率(320跑了 几万,再降回256dfud) 实验看信息传递。
把修改后的320dfud 再改回 256dfud。wx888 大佬的 保留inter 神器。
360截图20260831171636170.jpg
要保持修改前的320最后阶段的参数,src图片数量不变,
测试发现,以下牙齿为参照物,
修改后的320dfud跑了几万的model再改回 256dfud。仅用100迭代,部分图片就出现下牙齿,并没有丢弃之前信息。极大程度上继承了之前的信息。迭代数 587800 -587913。
256dfud→修改为320dfud→再改回256dfud。反复修复实验证明,说明其信息传递效率是存在的,效率也是极高的。

本炼制诸多方案中,设计的 256dfud-352dfud,或256liae-352liae等,以信息传递存在极高效率(保留inter)炼制速成为根本。尤其在liae后,该丹既然保留了原有的inter ,省去了 删除interAB的诸多麻烦,自然能极大节约训练
时间又能提升感观。
反正是 樱花换脸 又不是毕业设计、也不是参加 换脸国家比赛。
自己看樱花换脸,要感观提升 提升分辨率(256-352dfud 保留inter快速提升);要光影提升 用 对联丹srcB丹 转liae(不删interAB),怎么方便怎么好用,怎么像又光影好,怎么来做。能让合成效果,能短期内有提升,看的过得去就行了。感兴趣 跑跑,达到效果了,筛选合适载体 换一换,没啥大问题,封存即可。没必要拿大量时间 大量的迭代去炼丹。
极限用法:短期炼制使用时,甚至不需要对dst切脸,练后直接食用。
dfm,导入live带万能遮罩,播放找合适载体(剪辑版),就能边播放看换脸结果。
炼制过程肯定产生诸多分支。
256dfud 相似度极高光影弱dfm1;
dfud 相似度极高又契合dst dfm2;
liae相似度较高又光影进步还带dst微表情dfm3,等,
想相似度高选1,想光影好选3,选择最佳的观看即可。
友情提示,我试过 其他 传统dfud转 liae,效率极低,奉劝不要用传统的dfud转liae;liae丹, 删除interAB 一次,跑也得几万迭代恢复基本信息吧。50w迭代还要反复删除。。。。炼制时间要以周以月为单位,光影提升是提升了。得几周 几个月之后了

========================

分享 我的特殊的快速的、又比较像、还光影提升的炼制办法:
model 修改 DF→liae 之前前情况:
256dfud 384 96 96 28 model 50w迭代,(预训练44w,正训 6w)
1.预训练pretain true 44w;并炼制出 少量睫毛。
预训练的训练截图
111.jpg

2.经过了 pretain 关闭;正训srcA  src-src 充当dst  对联,(迭代数 未清零包含了 44w预训练)
第一次开随机扭曲 对联 srcA,2w 出4道下牙齿。
15.jpg

3.又经历过 更换 素材,变成 srcB ,其中随机扭曲对联2.5w,关闭随机扭曲对联一点,保存。迭代数未清零包含44w预训练,正训6w,累计50w。
此时 训练 历经 预训练杂图 -SRCA-SRB。每一个阶段严格src和dst /aligned 文件 放的是 一样的图片。(第一次随机扭曲srcA ,对联是src和dst相同;第二次也相同但要放SRC B )
目前 由于仅仅跑了6w正训,用的 srcB图片素材 13000张的策略。
(根据liae的架构理论:liae 的炼制有可能质感提升,但是 坛友普遍反馈会相似度会下降;
故这个256dfud  不是随便拿来。是在诸多分支中。合成测试,锁住相似度近乎最像src的一个分支model,待转)

修改后 仅dfud变成liae-ud 其他分辨率和参数一致。

为严谨,准备两个组,一个新建的256liae-ud对照组,一个修改liae-du的实验组
(wx888 Torch版 修改 第一条 保留inter,极大利用之前的炼制信息,加速炼制)。
采用原训练的 设置bs16 ,依然保持 之前的 13000张 图片素材(主要为df-liae的信息呈递)。相同条件训练。

预期与假设
假设1:实验组,model 报错,dfl不支持 DF修改liae 。
假设2:实验组,model 通过。说明 dfl支持DF修改liae。
A
实验组 跟对照组一致,速度非常慢,说明实验失败。说明 实验中 的dfud 50w model 修改 liae 引起 model 信息的清空。已经跑了50w 修改 liae-ud无意义。
B:
实验组 跟对照组相比,更慢,速度出奇的慢,说明实验失败。说明 实验中 的dfud 50w model 修改 liae 引起 model 信息的污染。已经跑了50w 修改 liae-ud无意义。
C
实验组 快于对照组。说明 实验组速度非常快,是继承了50w model的 残存的信息。速度差别越大,已经跑了dfud 50w 修改liae的意义越大。
对照组 900迭代。人脸和环境有较清晰的界线。眉毛没有出现
1.jpg

对照组 1800迭代,依然没有眉毛出现。
对照组2400迭代,开始有眉毛信息
对照组 3000迭代,有眉毛。但是 嘴巴 无牙齿白班。

2.jpg

实验组900迭代。无报错,切换到遮罩看。
可看到部分图片有较好的眉毛信息。
3.jpg


实验发现。1800迭代,未报错。切换到遮罩看,人脸和周围环境有清晰的界线。

2000迭代,未报错。发现 已经 有上下 牙齿 白班出现。
4.jpg

3000迭代,大角度俯角 已经开始出现人脸。

12000迭代,没有报错,并炼制出更多细节。
5.jpg

找一个备份10000 迭代 256liae(256dfud修改而来)合成一次。没报错,能合成。
WETJ都是0.


4w迭代,没有报错。炼制更多细节。
第一行 发现 ,部分图片额头皱纹、大嘴巴 上磨牙 炼制出来了。
眼睛 练出 两个亮光点。
6.jpg
6w迭代。下牙齿部分出现。
7.jpg


开启 转liae的 第一次随机扭曲

开随机扭曲。src-src src 充当dst对联, 观察炼制部分下牙齿等炼制速度。

68000,开始,很快发现部分图片出4道下牙齿。部分图片出丰富的光影。
大约跑5000迭代累计72955暂停。
迭代统计  正训256dfud 6w+liae 7.3w  排除 预训练 。正训+liae 一共跑了 13.3w

8.jpg


72955-转关闭随机 对联,src-src 充当dst。
大约跑500迭代,简称 73500 关随机对联。
部分图片 出现 下牙齿、光影 等细节。
9.jpg


第一次开随机扭曲 :扭曲后再关闭随机  ;呈现高随机占比,以锁定 更高的相似度适当增加契合度。

8.31 转256liae 与 256dfud的杂交实验(interAB 迁移实验。)
既然 256dfud 能转liae。说明隔阂有概率破除。通过各种文件的拼接、从而得到各种各样的新组合。
同时,在修改分辨率发现,保留inter修改、有极高的信息传递效率。而转256liae 跑了7w。非常关注信息传递情况。为了测试转liae跑了7w的丹的其传递效率是否已经遗忘了 256dfud的信息,设计了杂交实验。一方面验证 信息传递速度,另一个方面看能否得到新组合出新效果。
实验原理:liae和dfud
两个model 有亲缘关系,杂交后能否续训练 快速出优质结果和细节。
办法: 跑了7w的 256liae 作为一方,另外一个256dfud 同一套src 也跑 几万。进行杂交。
各提供部分文件,混杂为一个杂交丹。
得到杂交丹,保持默认参数,原始 src 训练。
以下牙齿为参照物。
假设,报错或杂交丹 需要数万迭代 几乎相当于删除interAB 一样慢。说明 256liae interAB 和interB 已经有自己的信息模式,遗忘了256dfud inter,并已经产生了巨大的 类别隔离。无法进行df-liae文件的拼接,无法形成新组合新效果。
假设,杂交丹很快出下牙齿。杂交成功。 说明 256liae interAB和interB 跟 256dfud inter 是平行的。liae没有遗忘了256dfud,转的liae跟df并没有太大 类别隔离。有概率进行 df-liae文件的拼接,有概率出现新组合 新效果。

实验发现。杂交丹随机扭曲,300迭代 出睫毛和人脸脸型,1300迭代 出上牙齿。2000迭代部分图片出下牙齿。
360截图20260901133557425.jpg
360截图20260901135803754.jpg
360截图20260901142629265.jpg
说明,转256liae后开随机扭曲的丹跟 256dfud 随机扭曲丹 可杂交。并没有因为转为liae 跟原始的 dfud 有太大的隔离。

杂交丹 组合 新组合 新效果实验。
利用各种杂交组合丹,跑并测试。为了严谨,选择之前没有用过的 樱花做dst。进行 src-dst樱花训练。
得到若干分支。意外发现 发现某一个分支 极像 src。
如下图,预览中第四列 很像第三列。而第五列跟 第四列和第三列 差异非常大。表现为极高的src相似度。
360截图20260901190512095.jpg
该杂交liae 训练 樱花dst后的效果。光影 低于dst原图 (不适合做直播),光影优于 之前的 dfud,同时相似度 极高(图中红圈的嘴巴不同于dst)。
分析原因:liae丹 dfud 各有不同。dfud强势是相似度,liae强势是光影。
但是通过杂交model就可以产生各种各样的组合,有概率产生新的效果。
假设 P Amodel dfud相似度极高 光影差;P Bmodel liae相似度不高 光影好。
因而可能该liae分支是 得到 带有了P A (dfud)极高src相似度效果的 特殊的杂交liae model。

9.4 df-liae杂交丹 保留interAB 更换 src C 实验   
传统的liae丹,每次更换src,需要删除interAB。才能具备快速学习新src 的能力。每50w训练 删除interAB,还是删除一次,期间大量的耗费时间和算力。

为测试杂交liae丹 随机扭曲对联丹,是否具有快速学习的能力。选择
保留interAB,将其 转src C 对联随机扭曲(之前没有训练过 src C)。
为了严谨,原用的srcB 是 年前女性,src C 是 另外的中年女性,嘴巴 牙齿 也很大不同。
然后保持 之前的默认参数 继续随机扭曲训练。

如果长时间 数万迭代,第五列 还是 srcB 呈现出痕迹而不是新学习 src C的痕迹,说明 实验失败。必须要删除interAB 才有学习新src的能力。
如果较短迭代。第五列 呈现新的 src C的特质,而不是 srcB的痕迹。说明实验成功。该丹 具备 不删除 interAB 就能学习的能力。
测试发现。更换src C后 预览图 一瞬间 还有 srcB的痕迹。训练一段时间后。src C本身痕迹越来越多。
大约几千迭代 出现部分下牙齿。
360截图20260904094227546.jpg
360截图20260904114811746.jpg

256liae 7w丹 也同样做了 这样的实验。做对照。
360截图20260904141131973.jpg
360截图20260904144915882.jpg

结果:8.9w df-liae杂交liae丹,之前 随机扭曲对联 srcB 。更换 年龄 嘴巴 有很多不同的 src C后,开随机扭曲,一瞬间都是 继承了原有信息。但是短期训练很快有学习到了 src C新的特质。也较快的练出了下牙齿。

推测,杂交liae丹 不需要删除interAB 就能快速学习 新src特质。具备较好的复用价值。
很大程度上,突破传统的256 liae 更换 src 需要 删除interAB 才能学习 新src 复制步骤的桎梏。
从而为快速炼制快速出结果奠定了较好的基础。

基于df-liae 能够拼接组合得到特定效果,已经不是简单的 256dfud转移 256liae的一条通路。而是256liae 256dfud相同素材 下 各个文件有概率拼接使用,若干的通路。df-liae 拼接丹更换src,可以不删除interAB,即可 学习新src的特质,破开了 liae丹 删除interAB的桎梏。df-liae 的新特性,仿佛彻底打开了df、liae丹使用的一扇大门;
那么不同炼制阶段也就是参数不同是否也能拼接使用产生新组合?其能衍生的变化太多。或按特殊需求设计特殊组合特殊参数,需要后期大量的验证,来慢慢研究。

一种设想。随机扭曲对联丹 srcB →src C 对联丹→srcD 对联丹。做可持续性发展主丹。
每个阶段  如 srcB 转 src vs dst樱花丹 临时跑一段时间 收尾做 分支专丹或 合成作品
;
7w liae srcB vs 杂图樱花 随机扭曲 若干迭代 为PA ;
平行的dfud src B vs 杂图樱花(跟liae的用相同) 随机扭曲 若干迭代 PB。
后期,如果能让PA 和PB 通过各种不同组合进行合适的搭配得到各种 srcB 杂交丹,然后跑如1400迭代出下牙齿细节。有概率从各个杂交丹中得到 既相似度极高(dfud亲本) 有光影好(liae亲本)新杂交; 单人 src B-杂图樱花dst的 model丹,srcC srcD 分支以此类推,既有 发展性主丹,又有 vs 樱花临时跑一跑的分支丹,诸多选择 为我所用。

df-liae 杂交和 256dfud修改分辨率的比较
修改分辨率 model 有几个文件大小会发生改变;几万的df-7w的liae杂交,分辨率虽然相同256,但是liae丹跟dfud有几个文件大小也会发生改变。
wx8888 大佬的 Torch 保留inter 修改分辨率 可随机扭曲 1400多迭代出下牙齿;df-liae杂交 interAB 可随机扭曲 2000迭代出下牙齿。
推测。没有立马出清晰结果,需要1400、需要2000迭代 是 部分文件大小发生改变有关。
鉴于256ddfud分辨率修改快速出结果、df-liae杂交为 也快速出结果,df-liae比256修改分辨率略慢一点,。可能有类似的很高信息传递的效率。

8.17 补充:转256liae修改 高分辨率 高级实验,(可选1)
新版Torch 修改为 352liae,保留inter 继承信息模式。SRC B 图片不变。bs 12.
200迭代出眉毛。500迭代出 牙齿白班。1000迭代出上牙齿齿缝。1800-200迭代部分图片隐约出 下牙齿 1道齿缝,部分图片光影 练出。2500迭代 出3道下牙齿齿缝,3000迭代,更多图片出4道 下牙齿齿缝。
360截图20260817164818362.jpg


360截图20260817171028652.jpg

360截图20260817171909242.jpg

16.jpg

360截图20260817175923667.jpg

360截图20260817181636888.jpg
实验说明,转256liae修改 352liae高分辨率 下牙齿 光影 训练速度极快; 比从零训练高分辨率352liae快 太多太多了。
推测 修改分辨率 ,会利用之前的256liae的信息,从而加速了 352liae的炼制。基于此类修改前后 model有信息传递。于是做进一步的修改分辨率的极限实验。

8.17 补充:转256liae修改 高分辨率 极限测试实验,(可选2)
新版Torch 修改为 电脑能承受的极限,保留inter 继承信息; 512liae 384 96 96 28。SRC B 图片不变。bs 4.  正在跑。。。。。
300迭代眉毛隐约出现。1000迭代 眉毛清晰。隐约出牙齿 白斑。
18.jpg
360截图20260817191455238.jpg

360截图20260817192141146.jpg

类似于 352liae 炼制的速度非常非常快。比从零训练高分辨率512liae 快 太多太多了。
(256liae 支持修改 384等更高分辨率;分辨率越高 要求显存高、炼制慢)

8.20 256dfud修改分辨率高级实验转352dfud(可选3)
bs16,509500开始转成352dfud,保留inter 继承信息,
SRCB-SRCB先关闭随机对联一会,出下牙齿;
再随机扭曲 2000迭代,部分图片出3道下牙齿。
360截图20260820085420515.jpg
5000迭代,随机扭曲下,更多的下牙齿出现。如下图部分图片这类属于很小的牙齿,也出4道下牙。
迭代统计,排除 预训练44w。正训256+352 累计7w
360截图20260820110859321.jpg
类似于 之前的 训练,炼制速度非常非常快,比从零训练352dfud快太多了。
预训练 256dfud要8-17w出下牙齿;256dfud正训 srcA 随机扭曲要2w,更换素材图片转srcB则随机扭曲会加快;再转352则 随机扭曲 2000 左右出部分下牙齿,5000迭代 随机扭曲 出 部分图片的很小的下牙齿。 说明其352dfud炼制快 能继承 256dfud预训练和正训时期下牙齿信息。
借助于256dfud-352dfud锁住相似度(dfud专注:极限相似度,但是光影不行验)。当需要时候再转352liae(专注 光影好,但是降低相似度);奠定了 256dfud-352dfud-352liae的 先修改分辨率再转liae的轴线方案技术的基础。

256dfud 第一次 随机扭曲 对联 vs liae 后第一次 随机扭曲对联 比较。
查看训练记录。预训练44w丹,正训 256 srcA第一次随机扭曲 大约2w 出下牙齿;liae 第一次随机扭曲 仅仅几千就 出下牙齿。
最初有一种设想。就是dfud→liae 。如果仅仅获得的 信息相当于 是提供了liae的 预训练 pretain true。就相当于正常liae丹的第一随机扭曲速度慢的特点,应该 按4-6w左右出下牙齿。
推测df转换来的liae 。其 dfud时期的随机扭曲能力得到了一定的呈递下来。



合成测试
进行liae 未开随机扭曲 前合成。累计 6w迭代,合成测试。
无关变量一致性:
srcB 用 原版切脸,测试用的dst也用原版(Torch版中 5种切脸中 有一个原版)切脸。原版极限的手切。dst也手切。

183454t22jpo72lmjuky2q.jpg
左边原图dst,左2 256liae.   左3 256dfud 一个分支;  左4 256dfud 随机扭曲一个分支丹
左2 左3 左4  为同一个256dfud丹而来。均为零训练直接合成。且未对dst开随机扭曲 和关随机扭曲训练。
合成相同的遮罩,WETJ 均为0.
光影分析:
dst光影鼻梁 非常亮,左2的 鼻梁的光影 方面比较亮,左3 左4 则正常亮度。
跟dst光影还原度上,256liae 确实要比  左3和左4 256dfud要好一些。
细节分析,左2 左3 都有 上下 牙齿,左4 只有上牙齿。左3 左4 都偏离dst,表现为 左4是 仅上牙齿,左3 为 嘴巴张开 的更大;左2的 256 liae 牙齿 更契合原图。
从相似度上说。同一份srcB 炼制,dfud 和转liae对比,dfud相似度更胜一筹。间接反馈了一个现象,转liae是会损耗相似度的。
(核心;合成测试仅仅是范例;要在 df转liae,256liae转352分辨率前,每次转 个人 认为 选一个 最佳相似度src 的model分支 待转!,而不是 契合度高的待转,降低相似度的损耗留余地 重要!重要!)


进行256liae 开 随机扭曲 对联 几千迭代合成测试 ,累计7w迭代合成测试。  
找dst图片进行 零训练直接 合成。并与6w的未随机扭曲 的 做对比。

左边是6w,右边是 随机扭曲 对联 72955。
WETJ 均为0.
位置关系看,两个图片 的眼睛位置、颧骨位置发生迁移,随机扭曲会降低契合。
细节看 ,均有 下牙齿。


225908vm0f4cmlzeahdj9f.jpg

73500 关闭随机对联。src-src 充当dst 跑500迭代。 跟 dst原图测试。
(零训练直接合成,未训练过 该dst )
无关变量一致性:
srcB 用 原版切脸,测试用的dst也用原版(Torch版中 5种切脸中 有一个原版)切脸。原版极限的手切。dst也手切
结果 比较像 src 的五官。跟dst 明显不同。
090311wcshn95j0u653qq8.jpg

相似度与设计的预期吻合。
转liae确实会降低相似度;但是手法恰当。有概率适当降低 相似度损耗。如上图 很像src的。


7w随机扭曲对联右图,和 73500关随机 对联, 左图  对比。

(零训练直接合成,未训练过 该dst )
位置关系看,两个图片 的眼睛位置、颧骨位置发生迁移,关随机后表现更契合。
细节看 ,均有 下牙齿。

090312n57nuuing0uu0206.jpg

dfud和转换liae的相似度和契合度综合分析:
dst并齿图 零训练直接合成时。

256 dfud 随机扭曲 对联 vs 转换 liae 随机扭曲 对联:
前者相似度极高。但是表现为不同于dst的并齿,仅 上牙齿;liae 则表现更契合dst。


256dfud 随机转关随机 对联 vs 转换 liae 随机转关随机 对联。
前者相似度更高,但是表现为不同于dst的并齿,嘴巴更张大一些;liae则表现更契合一点。
dfud 尤其随机扭曲,src提供表情信息;liae 可有一定的借助 dst的表情作用。这一结果 跟坛友的一致。


下牙齿的信息传递链:

256df 转换256liae 炼制出 部分下牙齿后,  → 转256liae开随机扭曲炼制 下牙齿 易→ 转256关随机扭曲 炼制 下牙齿 易 →转高级352liae炼制 下牙齿 易。

这一现象在 之前 256 dfud 修改分辨率 炼制基本类似。
256正训 关闭随机 炼制下牙齿 后 → 256dfud开随机扭曲对联 炼制 下牙齿 易 → 256关随机扭曲 炼制 下牙齿 易→转高分辨率352dfud炼制 下牙齿 易。 ;不再重复描述。


从上磨牙看关于信息继承:

整理发现,隐藏了 一套上牙齿为例的的信息传递路线
a 256dfud 预训练  炼制出上磨牙 信息
b 正训上磨牙 有一定的炼制加速
c 更换了src 上磨牙 炼制 加速
d 256DF换成256/352liae , 上磨牙的炼制也依然较快。

a-b-c ,这条线 在之前的 预实验 已经证实。学过的上磨牙,后一阶段就会非常快捷。如下图
这是b1 dfud正训44w 关闭跑随机扭曲 5000迭代 时候的上磨牙炼制截图和 开随机扭曲 13000迭代 的上磨牙
11.jpg

这是 b2 随机扭曲。上磨牙

12.jpg

一条 上磨牙 信息传递链,就组建起来。
a 256dfud 预训练  炼制出上磨牙 信息 →b 正训上磨牙 有一定的炼制加速 →c 更换了src 上磨牙 炼制 加速 →d DF换成liae , 上磨牙的炼制也依然较快。

值得注意的是,到了 c-d 阶段,哪怕是 DF更改了 liae。上磨牙等细节 也有较好信息传递作用。
间接 证明,df-转liae 存在下牙齿的信息传递 不是偶然现象;df-转liae 上磨牙 也存在信息传递;演绎推理,df-转liae有各种信息传递,那么这意义就大了。

演绎推理:
樱花核心是 bed 下牙齿 是基础;比较花 如 吸吮冰棍等 是提升。
能否让它们都比较快,同步完成?
演绎推理1:一条 bed下牙齿+比较花 吸吮冰棍 同步训练信息传递链,有希望组建起来。
a 256dfud 预训练  炼制出bed 下牙齿+吸吮冰棍 信息 →b 正训 SRC A bed下牙齿+ 吸吮冰棍 有一定的炼制加速 →c 更换了srcB bed下牙齿+吸吮冰棍 炼制 加速 →d DF换成liae ,bed下牙齿+ 吸吮冰棍的炼制也依然较快。

演绎推理2:以上,下牙齿炼制 在各个阶段 呈现明显的信息呈递,并合成后出现下牙齿;
值得注意的是 256dfud预训练44w 并没有炼制出嘴唇纹理,
假设1 256dfud加强训练迭代,直到练出 嘴唇纹理。是不是 可以 同上 的信息呈递?
假设2 256dfud 的分辨率和四维限制不易炼制嘴唇纹理,是不是可以改成 320dfud 等完成 嘴唇纹理的训练,就能同上,可以信息传递?
预测:
256dfud 预训练 无嘴唇纹理 →修改352dfud 预训练 炼制 出嘴唇纹理→352dfud 正训 练嘴唇纹理 易 → 352liae 修改类别,易 练嘴唇纹理 易 并能提升光影。

综上,信息传递的核心可能是,预训练炼制出为根本出发点就易,预训练没有练出的 为出法点就难。

结果发现,实验组专家liae后 训练没有报错,可以进行训练。预览图上看,实验组明显的快于对照组。接近 预测是 假设2 C。
两次合成看,没有报错,均能合成人脸。并且跑到6w、7w迭代 合成后 合成出下牙齿(256dfud预训练练出-正训也练出,因而得到信息呈递);光影比dfud 要略好,同时细节看更契合原图。体现了 快速炼制 下牙齿 细节、又 liae的优质光影的特点。

讨论
     DF是基础相似度高但光影弱,liae是高端光影极好。两大分支在之前若干时间,无法交联。长久以来,几乎所有樱花玩家抓相似度先用一个dfud练好封存后。之后转为 liae 想玩一玩 光影。这就决定 必须要第2个丹,从零训练一个liae。但当换成liae后,相同分辨率和四维下,由于liae炼制难度大远大于DF。导致发现问题也特别晚,非常不利于 修复src让src成长。一旦错误需要大量迭代弥补,因而试错成本极高极高。很多即便发现 src 有问题,要么 liae半途放弃。要么liae一口气练到底 凑合使用。别无他法。基于前期 一些修改分辨率修改DD训练,本实验 进行了 DF→liae-ud的修改。试图跨越df-liae类别的壁垒。并尝试 DF-liae的 文件拼接,试图得到新组合,产生新效果
      256DFud 正训6w丹 →修改256liae-ud 丹后,没有报错。随后分析改后 能否像 之前的一些修改分辨率等探究那样有信息传递。实验发现实验组修改后   远快于 对照实验。如 900迭代眉毛炼制快速出现(实验组要2400迭代-3000),这些眉毛信息不是凭空而来,推测是 继承了  256dfud底单 的信息;合成对比发现256 liae的优质光影的特点。 找到了部分下牙齿、上磨牙 df-liae的均有信息传递的证据;从而使得修改有意义。后来又进行了 liae -dfud 文件拼接,有概率成功,并训练出新效果。打通了 模型 df-liae 类别之间的界线,撬开了 model 修改的最重的那块板。
      为研究df-liae信息传递规律,严谨性贯穿始终,从预训练就精细记录,反复查阅对比。比如迭代总计统计。256预训练44w,256加预训练累计50w(正训6w)。256liae 关闭随机和随机扭曲等7.3w。正训和转256liae 实际花费迭代 256dfud6w+256liae 7.3w=13.3w。13.3w 这在训练中算非常非常少的。比如查看记录的 该256 dfud预训练 练下牙齿 8-17w → 第一次随机扭曲 要2w迭代出4道下牙齿;liae丹第一次随机扭曲只会更慢。而转化来的256liae 随机扭曲 几千就做到了 4道下牙齿,纯净而且效率高。 比 从零训练或 复用256 liae预训练丹 要快太多太多(删除interAB 法,条件不同,无法对比)。可见 下牙齿的细节在预训练就打好底子后续得到了有效呈递;相反256dfud嘴唇纹理 预训练未练出,故后续model 对嘴唇纹理,不予讨论。训练记录反映出,预训练 的基础性根本性,练出的 细节 才会在后续 正训-修改分辨率-df改liae等快速信息呈递。
     全程参与,也获得更多的炼制体验。同一套杂图数据练预训练,同一套srcB 练正训等,全程自己参与。自然会得到各种分支model。樱花换脸相似度是首位,故以相似度极高的一个分支转liae,在保留相似度极高基础上、256dfud和256liae互为对照易对比发现src B的优势不足,易找到问题的根源;获得更多自主选择,想要更像用256dfud 相似度极高的分支(需要极强的src),想光影更好用256/352/512liae相似度很高光影较好的诸多分支(可借助dst的部分表情),让 模型 切换 和 按目的去合理的灵活的 使用 256df 、256/352/512liae 成为可能。
      值得注意的是,发现了 信息 的 a→b→c→d 的信息传递链, 也是一种 炼制的新线索,从而 启示了一种新炼制思路。即 先易后难法炼制,为先进行256DF训练 a→b→c,后期转liae c→d 铺平了道路。
     dfud转256liae/352/512 先易后难的核心:第一阶段错误由256DF解决 a→b→c完成;第二阶段 光影质感由liae提升 d 解决(转256/352/512liae随机扭曲 、关闭随机扭曲等)。(方案一)
    方案一:详细的说,即通过 256DF  a→b→c快速炼制的优势去 练手,熟悉流程,掌握技巧。发现问题快,并通过Ai工具 修补角度 修补表情 修补光影 等等修补后[做法看参考链接2],再训练看是否改善,二次修补等从而让src成长强大起来炼制dfud model;但是 df的上限决定,炼制质感是比较难的。交给第二阶段。 256 DF成熟之后备份, 再选 锁定相似度最像src 的model 分支改成256 /352/512liae, c→d利用强大的 质感能力 并继承 dfud model 极高相似度以及 信息呈递(眉毛900迭代 而对照需要2400-3000迭代,上磨牙快速练出,从零炼制不值要多少迭代),快速出256/352/512liae 优质的质感结果(质感上升,有概率相似度比dfud时略下降,这是liae的特征)。
     
    方案二:以锁定相似度的玩法变式:
     原方案是第一阶段错误由256DF解决 a→b→c完成;第二阶段 光影质感由liae提升 d 解决(转256liae一次/再转352liae 第二次,随机扭曲 、关闭随机扭曲等)。这里发现 有 两次liae的训练;第一次是 转256liae,第二次是修改分辨率转352liae。liae 特质决定相似度 经过折损两次,几乎像liae的丹了。   
     修改一下,得到方案二;
     第一阶段错误由256DF解决 a→b→c完成,再提升分辨率 转352 ,锁定相似度极高分支备用;第二阶段 光影质感由liae提升 d 解决 同样参数转352/liae 经过1次liae训练,随机扭曲 、关闭随机扭曲等)。256dfud锁定相似度 修改后 352dfud 就可以再次锁定了相似度。只经过 一次 同参数的352 liae的训练。故损耗一点点相似度。
         
     方案三:相似度的玩法再提升光影变式:(新手玩家速成法)     以基础为本(保底的相似度极高的256dfud);快速转化为liae提升为辅(几万迭代得到光影更优质的 256/352liae)。256dfud 先筛选出合适载体,1000个樱花总会有一部分相似的载体吧。再把 筛选出的合适的载体分类,一般画质的载体 想更像就用256dfud,普通的中景等镜头用dfud既像,又较契合 确保最高的相似度;筛选的合适的优质的画质载体,不需要经过剪映修改,直接把想要画质和光影更好就换上几w迭代 跑出的 转换而来的256liae 使用即可(条件好零训练直接合成,条件弱,关闭随机跑一点点即可合成)。
    方案二和三,只进行一次liae训练,似乎卡了一个bug。兼具有底单dfud 和liae之间的相似度,又带有liae的较好光影能力。
     原理:只一次liae短期随机扭曲会继承之前的同分辨率参数的dfud随机扭曲能力为起点,转为liae的能力。相似度偏移可能跟 转换前后的 dfud 随机扭曲/liae 随机扭曲等 训练迭代比例有关。
   
     方案二和三的 对比实验证据,为保留相似度提升光影找合适方案
     鉴于,对方案二和三感兴趣。但是不清楚会有多大的区别。做了点小实验。提供实验参考证据。
     方案二  72955随机扭曲丹,之后关闭随机, 对联src-src  500迭代收尾,
     方案三。72955随机扭曲丹,之后关闭随机,以src-dst樱花 500迭代收尾
预期:根据liae的特点,训练会吸收dst的光影,弥补src的光影不足;加入dst 收尾让 光影提升。
方案三训练截图。预览图依然像src。能看出效果跟原dst光影差距,本质不适合直播。
360截图20260819091448735.jpg

合成一次跟原图对比,不同于dst樱花的嘴巴,还是比较像src的。说明可以暂停了。
360截图20260819075045300.jpg

基于此model,再次合成。并更其他model合成效果对比。
无关变量一致性:
srcB 用 原版切脸,测试用的dst也用原版(Torch版中 5种切脸中 有一个原版)切脸。原版极限的手切。dst也手切

采用相同遮罩,相同的WETJ 均为0.
左边原图dst,
左2 方案三 转256liae 73500迭代 src-dst收尾. 仅结尾用过 非srcB 做dst
左3 方案二 转256liae 73500 src-src收尾;全程仅 srcB 无污染
左4 未修改liae之前效果  256dfud src-src 一个分支。
光影对比:
鼻梁的光影,方案三 好于方案二的鼻梁光影,远远好于dfud的 暗黄光影(鼻梁几乎无亮光)。方案三提升不是100%还原dst,跟原dst还是有差距。
嘴唇色彩,原图 与 方案二 差距最大;方案三 介于 方案二和原图之间
360截图20260819080411549.jpg

相似度 由左向右依次增加,光影能力依次降低。方案三会提升光影,这一结果跟预期一致。
嘴唇色彩也不一样。方案三 介于 方案二和 原图之间。说明 liae的特质,短期的dst樱花收尾训练吸收dst的色彩。算是liae但光影提升的一种证据。

相似度预测:
256/352dfud
(从始至终0次liae训练;srcB-srcB)极致相似度    >
方案二
先256/352修改 后 转liae(1次liae训练,srcB-srcB收尾)很高相似度 >
方案三 先256/352修改 后 转liae(1次liae训练,srcB-dst樱花收尾)很高相似度>
方案一 先256转liae,再转352liae(两次liae训练 srcB-srcB 收尾)较高相似度≈ 从零训练 352liae的(全程liae训练) 相似度。

方案三 保留了较好的相似度。为什么比方案二会有 光影提升?
原因可能是多方面的。
原因一:dfud的提供随机扭曲信息。查看训练记录,收尾一个分支,256dfud 0-44w预训练,44w开始正训到50w,随机扭曲大约5w,srcB随机扭曲大约2.5w;故 有很好的 极高的相似度。
原因二:选择了 转liae 后 。素材图片不变的训练方法(转前用srcB 对联,转后还是 只用 srcB 跑68000迭代),信息传递的作用最大花,以继承之前的相似度。
原因三:合理的 dfud 随机扭曲 和liae随机扭曲的配比:
256liae 我仅仅进行了5000随机扭曲,比例为5:1,故合成发现意外的非常像src 。  推测,像256dfud 随机扭曲时间越久,转同分辨率 同参数256liae随机扭曲越短,带有的相似度可能更高。再次声明,方案一和方案二,方案三,尤其方案二极限的相似度 本质要极限抽取了之前带有dfud的能力,
原因四:interAB 的特性。有大佬发现 关闭随机扭曲 interAB不再改变,尽可能锁定了 相似度。
跑方案3 关闭随机 dst樱花 500迭代,虽然 相似度略有下降,但是是可接受范围呢,没有彻底破坏相似度。带来的好处是而让光影适当再次提升,从而达到优化dfud光影差的缺陷(如上图合成图 很像src基础上,比dfud有一定光影的进步);值得注意的是,跟dst光影还是有差距,本质上不适合直播。

基于保持极致相似度基础上,方案二的再改进。
对于以上的的结果综合分析方案三还是略有相似度的损失。这点损失,偏移了 樱花换脸的本源是极致的相似度目的。选择对方案二基于其极致的相似度,再改进光影。无关变量一致性:
srcB 用 原版切脸,测试用的dst也用原版(Torch版中 5种切脸中 有一个原版)切脸。原版极限的手切。dst也手切

左边原图dst,
左2 方案二改进 转256liae 全程仅 srcB 无污染 做dst
左3 方案二   转256liae ;全程仅 srcB 无污染
左4 未修改liae之前效果  256dfud src-src 一个分支。
鼻梁光影对比 发现
左2 的方案二改进 256liae  好于 左3 的方案二 256liae. 远好与 dfud版本(鼻梁几乎无亮光);但是还是跟 原图dst 有差距。


360截图20260819132514428.jpg
      
相似度对比, 方案三。反复观测,隐约带了dst樱花的一点点痕迹。方案二改进 256liae 跟 方案二 256liae 则几乎察觉不到dst樱花的痕迹。相似度略低于 dfud一点点。
分析原因,是liae的本质导致,转liae后损失一点点相似度;只要训练过dst樱花就会带有 dst樱花的光影和一点点痕迹。
方案二和方案二改进  仅用srcB 全程无污染,故相似度几乎差别。同时两个liae,不同程度提升了光影。
从而既具备了极致相似度的特质,又有了 光影的进一步提升的效果。

再补充实验:樱花dfm换脸测试。
除了model合成,还有导出dfm进入rope等合成。对方案二改 256liae 、256 dfud 导出dfm,进行 deepfacelive模拟rope等工具,并测试光影。
预测 该256liae会保留极致相似度基础上,改善光影,
live 播放樱花,正脸和小角度下,找光影明显的部分暂停截图; 上图是256liae,下图是dfud。
结果:
鼻梁光影,樱花右侧鼻翼极亮,方案二改 256liae 鼻梁的光影 远远好于 256dfud(鼻翼几乎无亮光),但是光影 跟原始dst嘴唇下巴之间的光影还是有差距。故不适合直播,樱花换脸是可用的。
相似度,两者相似度极高,方案二改的 256liae 比256dfud 低一点点相似度。与预期的一致。两个方案几乎不带有樱花dst 五官的痕迹。
反复观察,发现也有一点嘴唇微表情对比,256liae微表情更像带了一点点dst微表情,256dfud更像srcB的 微表情(如果src木讷,dst喜怒哀乐,换脸后就会木讷);明明都是 全程只用 srcB炼制,256dfud为什么不带dst微表情,256liae 怎会带一点dst微表情,可能体现了dfud和liae特质;wx8888大佬发帖,dfud由src向dst迁移,liae是由dst向src迁移;
即可以解释这一现象,srcB -srcB 炼制法dfud/liae。 如果dfud SRCB表情决定合成表情,dfud极致相似度下合成 遇到喜怒哀乐的dst 自然由srcB出发,带由srcB表情 决定合成表情;256liae  SRCB决定大部分合成表情+dst少量表情。全程srcB-srcB,不用dst樱花,极致相似度下,也会合成 由256liae利用 dst 樱花出发 带一点微表情和 dst的 一点光影。
简言之,仅用srcB-srcB炼制;256dfud 极致相似度,会像srcB 而不像dst樱花表情,想带dst表情就会大幅降低相似度;
256liae 仅srcB-srcB,极致相似度,自带 一点dst樱花微表情。天然的赠品。

表明;修改256dfud--转liae。导出dfm,导入rope等工具方面,也能对樱花换脸保留相似度基础上,利用一点点dst微表情、同时有提升光影。从而打破了 liae 专注光影,dfud专注相似度 的隔阂。产生一个 既极致相似度又优质光影的还带dst微表情的新复合model 为我所用。


360截图20260819181940905.jpg
       liae光影如此强大,方案二、方案二改、方案三 等可选,也可以对dfud-liae进行文件拼接 有概率得到新组合新效果,根据所需得到提升光影后的作品,是不是就用liae就要舍弃dfud。我的观点可能不同,更倾向于诸多分支model分阶段合理运用;
     简称为特殊dfud-liae模式/ dfud-剪映-liae 模式。一个专丹再强,都要提及要用到合适的脸型。dfud的先天优势,可筛选合适脸型载体; 剪映强大修改脸型能力,在dfud提供信息基础上对dst的瘦脸等修复处理,liae 强大的光影能力,再去用liae合成。既保留了高的src相似度高,又优质光影和契合的 优质作品。从而避开了高分辨率的弊端和陷阱。可以预设一个场景,如果 从零训练 某liae 如 384 24G 显存的等高分辨率liae,要数月以上炼制,那么 非常难发现 某镜头缺憾,只会认为是训练时机不够。直到关闭随机 若干 合成才发现 某镜头效果不尽人意也可能花费天价的算力修复,其费时费力的弊端显露无疑。筛选载体方面,用384liae每换一个dst都总是差点意思,再去找下一个载体还是不合适,而再去考虑修复脸型的问题。但liae契合高 是为筛选 埋下的隐患。让筛选载体和复用极难。只有高手才会解决,得到优质作品。

( 注1:基于 樱花换脸相似度 极高 为本,只适合樱花;不适合直播;随机扭曲对联极高相似度下,dfud角度表情由 SRC ,也就是src B提供;srcB 角度越全 常用的表情越丰富越好,否认表情容易呆滞。准备再充分可能也没有完全覆盖樱花表情,也没事。一来 原版、新版Torch 支持 15度旋转,补充类似角度在其15°附近内就会练出,另外发现256里ae 方案二 改  全程 srcB-srcB 无樱花污染,合成樱花 角度表情由SRCB 大部分提供+一点点樱花dst微表情,极像srcB同时、自带一点dst微表情和一部分dst光影,进一步改善表情呆滞,属于天然的馈赠 ;)
(注2: 256dfud 预训练丹,是我从零自己炼制,素材图片按416dfud标准的(少量高清,大部分超高清准备)跑了44w。扣除这部分,正训dfud仅6w。之后,正训6w的256dfud转352dfud 高分 随机扭曲 再跑2000出4道下牙齿,5000出 很小的下牙齿齿缝;纵向也做了对比,256liae转352liae高分 再跑3000出 4道下牙齿齿缝(仅比256dfud转化352dfud慢一点点),极限512liae 再跑300迭代跑出眉毛 1000迭代出牙齿白班。每次转前检测、以锁住相似度为核心,降低 转换 带来的相似度的损耗;精准转换,转liae后能获得光影优质的效果的多套方案;卡了df-liae的关卡的bug,有src 和dst,借助了wx888 大佬 保留inter的神器、利用 原src和dst 欺骗dfl软件 去按liae去干活快速炼制,也没有删除interAB。统计实际迭代,256dfud正训6w+转256liae7.3w。一共仅仅花费13.3w迭代。df 锁相似度转liae法,有原src dst 不删除interAB快速得到光影提升,极大降低了炼制门槛,节约了时间和算力,后来又拼接出 dfud-liae 的杂交丹出现 极像src相似度的liae杂交丹(跑了几千迭代)。13.3w就是跑废了也不心疼啊。相比liae传统炼制 更换src就要删除interAB 没几万下不来,每50w再删除interAB。以传统 dfud src-多人dst的丹 转liae,要快速练没相似度(不删interAB不像),要相似度没效率(删除interAB 炼制慢,50w还要删除interAB)。我试过并跑废了多个丹,故,建议 传统的dfud 不推荐 转liae),那些网络下载的224 liae丹 等没有炼制者src dst,不推荐上来就修改为  高分辨率的384liae、416liae、512liae 。更换src 要删除interAB,高分辨率要慢,50w就要删除interAB属于地狱级拉满,都是数月 炼制。。。。光影是提升了。得几周几个月之后的事了。
(注3:df转换liae 获得光影也必然会损耗相似度, 尽量最佳相似度src 的model分支 待转!;查看记录 dfud srcB 随机扭曲对联 2.5w:转256liae后 7w迭代中 先对联68000,第一次 随机扭曲仅对联 5000,之后方案二 对联关闭随机500;可获得合成dst(零训练之间合成,之前也未训练过)很像src的 效果;方案二改,256liae全程srcB无污染,既相似度高,合成后明显提升光影,合成后还能带一点点dst樱花的微表情;方案三 256liae,收尾换成dst樱花关闭随机收尾则 略牺牲相似度带一点点几乎看不见的dst五官信息,更能提升光影效果。dfud-liae 拼接得到新的极像src的liae杂交丹,诸多方案而可用,但各方案光影跟dst还是有差距,故不适合直播!!方案二、三 此配比数据为便训练边合成 数十次抽样合成得到一组配比,仅适合本model 256liae384 96 9628和本src B  和该 樱花dst, 仅供参考;不同的参数liae和不同src,需要时刻多抽样合成,自行摸索最佳迭代配比;后续补充研究信息传递 实验发现 256dfud 修改转320dfud 保留inter 仅700迭代(没有开 口眼 优先) 就出下牙齿;转480 保留inter仅需要1200迭代 (没有开口眼优先);跑了几万的修改后的320dfud再改回256dfud 仅100迭代 就出部分图片的下牙齿。仅适合本model 256dfud384 96 9628和本src B ,不同的model参数 不同的、 src 的不同。还需自行模式。


参考链接:
[1].文中涉及的 随机扭曲对联的 SRC具体要求可以看
:专丹及换脸的新练法

https://dfldata.cc/forum.php?mod=viewthread&tid=16918
[2].dfud转liae前补充SRC 吸吮冰棍,可以看,6.8.1 关于 320dfud转 随机扭曲 的 一点使用技巧
https://dfldata.cc/forum.php?mod=viewthread&tid=14529&extra=
很有用。基本原理类似于于补角度办法。dfl 图像转化软件。DF当 src 没有仰角,dst有仰角 合成就会糊。利用Ai 补充仰角 加到src训练 就会改善 dst仰角的合成效果
故,补充吸吮冰棍也是这样。补充后合成吸吮就更美。实际补充类似补充仰角,技术上可行,几分钟的事。
不仅仅吸吮。还有其他要求都可用补。
简言之,把SRC B 当你想要的某类樱花 去多准备。。。
102111egdssnaab0ykabbc.jpg

222944wcc3zrmsmy6g6lsr.jpg

215113yz4odu7cwowpt7w7.jpg

评分

参与人数 1贡献 +1 收起 理由
Tsing518 + 1 感谢楼主分享

查看全部评分

回复

使用道具 举报

16

主题

2057

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
32319

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-8-20 23:00:11 | 显示全部楼层
本帖最后由 come3002 于 2026-8-20 23:41 编辑
pasanonic 发表于 2026-8-20 22:46
嗯 问Gemini问出来了

对 樱花换脸,相似度是根本。
传统 的dfud转liae意义不大。传统的 dfud 单src-多人 dst。关闭随机后,时间长,相似度就会下降(假设7-8成)。转移 liae,随机扭曲关闭随机。再次下降。能剩下 5-6成相似度就不错了。
本质是传统的dfud丹inter里 记录的 是 单人src向 dst多人迁移。转移到liae, inter AB 要记录的是 dst多人向src 迁移,这是反着的,是矛盾的。就相当于 被污染。

这可好,要提高相似度,清除之前污染,必然要多次删除interAB,转liae后,liae src-dst多人杂图 开随机扭曲 也会 向 dst迁移,还要50w一删除interAB。。。。
算来算去,传统丹改去,还不如 找 一个 liae底单直接跑算了,反正 liae 换人,开随机扭曲 就要 删interAB,练练就要删interAB。传统丹,去做转移,不删interAB要相似度没相似度(5成相似度),删除interAB要效率没效率(反复删除interAB)。我之前用dfud普通单人vs多人dst转liae,跑废了好几个转liae 丹。是因为这样做纯属瞎折腾,没啥用。所以 ,之前没人用。

我的炼制转移前提,srcB-srcB炼制,转移liae后还是 srcB-srcB就没练过别人,自然没有污染,srcB-srcB,能继承之前炼制效果,继续随机扭曲等, 就没删过interAB。
果然,测试发现 随机扭曲也就5000迭代 跑出 4道下牙齿,累计也就跑了也7w,极大提升速度和效率,保留了dfud时期极致相似度还获得一定光影改善。
另外分辨率也可以提升啊。 256dfud →352dfud 修改分辨率,也用wx888 大佬的 修改模式一 保留inter模式。快速炼制、保留相似度下,短期也能炼制更好的观感。
反正是 樱花换脸
又不是毕业设计、也不是参加 换脸国家比赛。
自己看樱花换脸,要感观提升 提升分辨率(256-352dfud 保留inter快速提升);要光影提升 用 对联丹srcB丹 转liae(不删interAB),怎么方便怎么好用,怎么像又光影好,怎么来做。能让合成效果,能短期内有提升,看的过得去就行了。感兴趣 跑跑,达到效果了,筛选合适载体 换一换,没啥大问题,封存即可。没必要拿大量时间 大量的迭代去炼丹。

其他 传统 liae,单人 删除interAB 跑也得几万迭代吧。还要反复删除。。。。炼制时间要以周以月为单位,光影提升是提升了。得几周 几个月之后了。









回复 支持 1 反对 0

使用道具 举报

16

主题

2057

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
32319

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-8-20 21:22:23 | 显示全部楼层
本帖最后由 come3002 于 2026-8-20 21:38 编辑
pasanonic 发表于 2026-8-20 20:37
archi 怎么跨修改  还有那个SRC B是什么意思

archi 架构修改说简单也简单。说麻烦也麻烦。

从 wx888大佬的 发现说起。DF 是 src 向dst偏移,liae是 dst向 src 偏移。我后期训练合成也发现了这样的规律。
这就是天然的检测关卡和屏障。但是我 采用 的办法 是卡了bug,骗过了它。让它当liae去炼制。
欺骗dfl过程准备:
1.预训练44w:从预训练时候杂图的就是 对联 pretain true:

2.正训 1 换 单人SRC 第一组是陈天仙 ,命名 为 srcA,src左-dst右 采用 同一人同一套 (srcA 既做 左,也做右),左右相等,继续 采用  对联 关随机;对联 随机扭曲等。
这个是 随机扭曲打基础用的。比如 2.5w 随机扭曲。才炼制下牙齿。
3.正训2 换 单人 src 第二组 是 另外一个天仙,命名 srcB,同样 对联。这个 有了 第一组的底子,随机扭曲 对联 srcB 会加速。随机扭曲 关闭随机若干。转liae备用。


那么 经过了 50w后 这个model dfud 就呈现了一个特殊的状态。
因为 无论是 DF 还是 liae ,src向dst偏移,还是 dst向src 偏移。每一个阶段,我都是同一套。
具备了 DF 也具备了转移 liae的特质。这是欺骗dfl软件的基础。没这个基础。如用普通的 单人src-多人杂图的 dfud丹去改了也是百搭。我试过,信息继承就全乱套了)
新建一个空白model。只用data 文件。其他的文件用df的一改名 冒名顶替来替换,df有inter(记载了df的 srcB-srcB对联 映射信息),复制两份,改名为 inter AB(假装模拟充当记载了liae的 srcB-srcB), interB(假装liae 的 srcB-srcB的 dst信息)。
然后欺骗dfl软件,告诉它 这个 就是 liae srcB-srcB丹。你给你干活练吧。
保持 改前的 srcB,保持原参数,骗它练,让跑就完事了,一段时间再换参数 随机扭曲 大约 几千迭代就 出下牙齿,说明 继承信息成功,之后 关闭随机一点点, 等炼制到想要的细节。
中间不断合成樱花测试,发现 一组分支, 很像 srcB,又光影 接近 liae给光影。就成了。






回复 支持 1 反对 0

使用道具 举报

16

主题

2057

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
32319

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-8-20 08:34:36 | 显示全部楼层
本帖最后由 come3002 于 2026-8-30 09:22 编辑
bg2kcg 发表于 2026-8-20 07:53
识别不出我的tesla P40,有什么解决办法吗?



方案一:Torch版本不识别,就换 另一个链接内的DML版本。也支持修改分辨率。
还是不识别换成其他版本

方案二:使用 猫版pytorch版 看能否识别p40运行。如果能识别。

改用 租个 算力 用来 torch 修改分辨率。然后转 猫版pytorch 训练。

具体做法。用手头的经典的 自闭256、坛主迪丽热巴224liae 等低分辨率 炼制的 model。
根据我修改分辨率的成功率来看。修改前后要保持 素材不变,参数不变。以最大程度继承之前的信息。
保留inter的方案一。不删除inter,以最大程度继承之前的信息。
具体,找到当时的src 和当时的dst。连带 model。放入 新版 torch/dml 修改分辨率。比如自闭改成352,坛主改成320liae。
训练用默认参数 bs可以下降一点。刚开始图片是灰色模糊的不用担心,跑1000迭代就图人脸比较清晰了,一直跑一段时间出 原256自闭 224迪丽热巴 对应的细节;再去 测试改参数。后面就可以自己摸索了。
举例 256dfud→352dfud。
新版Torch 选择保留inter修改;  利用新版 节约显存,原版bs16 要14G显存,新Torch开启 2个节约显存 bs16 只要 4.5G显存。
转化前是关随机,转化后352dfud保持默认参数关随机跑一点时间(如果原model是gan0.1,修改后炼制失败就把原model降低到0.001,再修改,还是gan。0.001试试,如果是真脸0.001,修改后失败,就把原model降低到0.0001,试试。gan和真脸 易导致失败的降低降低多尝试以成功继承该真脸 该gan信息传递),出256对应水平细节。之后再改参数,随机扭曲下 又跑了5000迭代。发现随机扭曲下 srcB部分 部分图很小下牙齿 也炼制出来。而这种很小牙齿,就是这在256dfud 关随机都是比较难练的。
其炼制迅速,继承之前的信息确实惊人。备份后,再后面想提升相似度开真脸,想再提升细节也可开gan。。。。
找点樱花 合成测试,没啥大问题,就成功了。
这样,不需要更换电脑显卡(256dfud原版bs16要 14G,新版开两个参数 bs16 降低到4.5G,修改分辨率提供了物理基础),
一个操作简单,训练快捷,不需要从零摸索经验;还提升感官的新高分辨率 model就练好了了。
360截图20260820110859321.jpg

(注1:修改分辨率速成思路 是 遇强则强 继承信息;256dfud 预训练 炼制出下牙齿→256dfud的正训 易 出下牙齿 → 修改分辨率 352 相同参数的随机扭曲  易出下牙齿;
如果 是论坛下载的 256,并在自己手里 在没随机扭曲出下牙齿 ;转352dfud 相同参数的随机扭曲 继承还是 没有下牙齿的。是很正常现象。恰恰反应了 信息传递链的特质。
建议 更换一个 随机扭曲阶段  就炼制出下牙齿的 其他model,再去转修改352dfud等分辨率即可。)
(注2:修改分辨率 不是万能速成和 百分比信息呈递。  速成和呈递成功的关键是 拿到 原model src 和dst 高清或超高清图片,这基本决定是自己高清或超高清练的丹(经历过随机扭曲关随机等)去改效率最高。修改分辨率 用别人的丹 改造 会折损 会降低速度,素材不同,引起 写入新信息覆盖旧信息 折腾一下 可能就剩下8成,举例别人的256dfud 无src和dst 升级到320dfud,但是经过复用折损 估算实际 早期和中期也就是320的8成 256dfud效果;别人的640dfud 96G显存丹,降低到512dfud. 但是 拿不到别人的 原model 用的 src和dst 极限高清几百M一张图炼制,改用自己的 电视剧切割的 300K一张 高清src图,修改一下 降低到8成,512 也就是 回退到 8成x8成 ,早期和中期可能也就是 416水平也不是不可能。。。


注3: 以高标准图片炼制预训练为佳(累计44w)。最早就设计好了修改分辨率 修改df-liae类别 的计划。发现了wx888 大佬 Torch 修改分辨率保留inter(保留信息的神器)256dfud→256liae;256dfud→352dfud→352liae;256dfud→320dfud→480dfud。都可以做到 环环相扣。
预训练时期 按照416dfud所用超高清标准设计,炼制 的图片 少量高清/大量超高清。并256dfud炼制出部分睫毛暂停。
既然按照416设计的用在了256dfud上,说明还有潜力.
果然 256dfud 随机扭曲丹转352dfud 炼制随机扭曲下(wx888 大佬 Torch 保留inter 信息神器) SRCB  小的下牙齿细节 大约仅用5000迭代。
256dfud 关随机扭曲丹转320dfud 关随机扭曲(wx888 大佬 Torch 保留inter 信息神器),bs16,大约700迭代 出4道下牙齿;
再转 480dfud 关闭随机(保留inter方案下),bs8,转后大约 1200迭代 部分图片出4道下牙齿。。转化的效率是极快的。

计算花费的迭代:256正训6w+256liae正训7.3w。累计跑了13.3w。
仅仅dfud而言。256dfud 就只有6w后面就可以 加转352dfud (wx888 大佬 Torch 保留inter 信息神器),还可以加 480dfud的。保留了之前信息继承上,加的迭代根本不算啥,可以反复摸索,就是跑废了也不心疼。


部分256dfud 所用的 (416设计预训练) 图片,嘴唇纹理的放大细节。
360截图20260820121458107.jpg





回复 支持 1 反对 0

使用道具 举报

4

主题

234

帖子

9589

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
9589

万事如意节日勋章开心娱乐节日勋章

发表于 2026-8-17 13:50:56 | 显示全部楼层
你这精神值得
回复 支持 反对

使用道具 举报

8

主题

132

帖子

3287

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3287

万事如意节日勋章

发表于 2026-8-17 20:02:58 | 显示全部楼层
对这种钻研精神表示敬佩和赞扬!
回复 支持 反对

使用道具 举报

14

主题

395

帖子

2385

积分

初级丹圣

Rank: 8Rank: 8

积分
2385

万事如意节日勋章

发表于 2026-8-17 21:00:18 | 显示全部楼层
正需要这个,我现在就想知道具体怎么操作,就是修改的具体步骤。因为我是FaceAI-ICE1.85
回复 支持 反对

使用道具 举报

16

主题

2057

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
32319

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-8-17 22:19:17 | 显示全部楼层
本帖最后由 come3002 于 2026-8-18 15:03 编辑
bg2kcg 发表于 2026-8-17 21:00
正需要这个,我现在就想知道具体怎么操作,就是修改的具体步骤。因为我是FaceAI-ICE1.85 ...

1. 较全角度 比较丰富光影 src、较丰富表情 src。如将来转liae src B换脸 樱花吸吮,就提前dfud时期准备一点 src B 吸吮。简言之,把srcB 当樱花准备。
2. dfud 对联随机扭曲,让合成效果极像src 。
3.在极像src的效果的对联丹 dfud,检测锁住相似度了;再去转liae(相似度会略下降)继续随机扭曲对联丹 尽量保持相似度,又把检测锁住很像src的 256liae 对联丹 再修改分辨率改352liae等。一环扣一环。


假设 是 普通的dfud丹 src B。做法是 srcB 普通表情vs杂图dst 带吸吮等;src 无吸吮,本质就要借助dst。
必然要长期关闭随机扭曲提升细节,附带 学一点 dst的吸吮等; 但是代价是已经 只剩下 srcB 6-8成相似度了。转liae 确实也继承之前的 吸吮等能力,但是liae的特性 提升质感 光影 代价就是 略比dfud下降一点相似度,导致,能适配樱花吃冰棍,然而能继承到的相似度就剩下SRCB的 5成就不错了。。。

dfud 对联随机扭曲但转liae 本质上卡bug 借助的是 SRC B基础表情 +Ai自身吸吮。并经过原版和WX888 6.1 Torch等 随机扭曲旋转15°作用,拓展更多泛化角度);dfud 就炼制 SRC B基础+Ai自身吸吮的细节,转liae后 继承了 SRCB 的基础和Ai自身吸吮细节 。同时 dfud转liae 全程仅用 srcB 保证了无污染,尽可能保留了相似度。这样遇到合适脸型的樱花吸吮冰棍,合成后细节又好,很像src,还提升了一定光影,就可能做到了。

(细节:吸吮特有的嘴唇纹理、腮部凹陷,普通电视剧 里 几乎找不到;Ai则轻松做到,多抽卡即可)
360截图20260818141544685.jpg





回复 支持 反对

使用道具 举报

1

主题

47

帖子

2156

积分

初级丹圣

Rank: 8Rank: 8

积分
2156

万事如意节日勋章

发表于 2026-8-18 06:40:13 | 显示全部楼层
科学家,佩服佩服。
回复 支持 反对

使用道具 举报

14

主题

395

帖子

2385

积分

初级丹圣

Rank: 8Rank: 8

积分
2385

万事如意节日勋章

发表于 2026-8-19 07:39:54 | 显示全部楼层
come3002 发表于 2026-8-17 22:19
1. 较全角度 比较丰富光影 src、较丰富表情 src。如将来转liae src B换脸 樱花吸吮,就提前dfud时期准备一 ...

谢谢你说得这么详细,我想知道的是现在我有丹,想改高分辨率,怎么操作。
回复 支持 反对

使用道具 举报

16

主题

2057

帖子

3万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
32319

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2026-8-19 08:07:10 | 显示全部楼层
bg2kcg 发表于 2026-8-19 07:39
谢谢你说得这么详细,我想知道的是现在我有丹,想改高分辨率,怎么操作。 ...

我用的下载 wx 8888 大佬的 新版 Torch 6.1
https://dfldata.cc/forum.php?mod=viewthread&tid=21375&page=7#lastpost


修改分辨率时候,256dfud→352dfud,
修改后迭代数量是不变的;之前是7w迭代,修改后还是 7w。
有两种模式。
默认我选第一个是 模式继承 inter(继承的信息最多最快,随机扭曲能力,细节能力等);
另一个是 不继承inter(清空inter)。


回复 支持 反对

使用道具 举报

14

主题

395

帖子

2385

积分

初级丹圣

Rank: 8Rank: 8

积分
2385

万事如意节日勋章

发表于 2026-8-20 07:53:37 | 显示全部楼层
come3002 发表于 2026-8-17 22:19
1. 较全角度 比较丰富光影 src、较丰富表情 src。如将来转liae src B换脸 樱花吸吮,就提前dfud时期准备一 ...

识别不出我的tesla P40,有什么解决办法吗?
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2026-10-2 06:57 , Processed in 0.186468 second(s), 38 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表