deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 2563|回复: 8

测试一下liae+df的混合架构

[复制链接]

9

主题

73

帖子

5307

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5307
 楼主| 发表于 2025-5-25 01:36:51 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
DF是Y型架构:encoder+inter+decoder_src/decoder_dst,人脸相似度高,光影还原能力较差。能达到的清晰度也可能更高一些?
LIAE是菱形架构:encoder+inter_AB/inter_B+decoder,脸型更加匹配,光影更好。

我在想如果综合两个模型的特点,做一个融合版本的模型效果会怎么样?初步修改如下:
1. 在LIAE架构基础上,对decoder拆分,最后两层上采样分化为decoder_src和decoder_dst,之前的上采样层还是共享权重
2. 采用逐级训练,共享权重的最后一层也会输出一张人脸,并计算相似度,保证低画质下的光影和高画质下的细节。

此外还有几个问题没搞清楚:
1. 为什么DFL的下采样和上采样次数是4-5次,而不是更多。是为了避免模型太深导致收敛太慢,还是避免光影和表情无法和输入图保持一致?
2. 看到很多论文会采用一个更深的网络,并采用逐级训练来稳定训练,并表示光影和表情还原能力更好,为什么原版DFL没有这么做。

先跑着看看效果吧,现在三块显卡都跑满了,512分辨率的模型,四维是512-64-64-32,参数并不高。之前也试过高参的版本,可是在导出dfm的时候权重被强制分片了,产生了好多小文件,有点麻烦。
onnx好像会对大于3GB的模型进行分片?而且一个512分辨率的单人模型需要3GB+的空间也确实抽象了,这么多参数用来干啥不好,DFL的模型架构确实落后时代了。


评分

参与人数 1贡献 +1 收起 理由
dfldata1316 + 1

查看全部评分

回复

使用道具 举报

38

主题

558

帖子

-1万

积分

限制会员

积分
-11858
发表于 2025-5-25 02:41:09 | 显示全部楼层
本帖最后由 dfl9999 于 2025-5-25 02:43 编辑

你想搞个魔改版分支吗,到时候发出来看看效果,原版作者自己的显卡都稀烂,哪有功夫去考虑这些,ice版倒是做了你说的这些尝试,效果也不错,代价就是同四维下显存消耗翻倍。
回复 支持 反对

使用道具 举报

3

主题

94

帖子

2357

积分

初级丹圣

Rank: 8Rank: 8

积分
2357
发表于 2025-5-25 07:59:29 | 显示全部楼层
早就提醒你了 不要死屌在DFL 你说的这些 FACESWAP早就可以玩了,自己设置自己的模型架构,编码器 FC(共享/分离) 解码器(共享/分离)还有一个G-BLOCK(解码阶段进行A B特征融合)
在提示一点,编码器的架构也起很大的作用,efficient/clipv-far  哪个不比DFL的编码器强大,泛化能力强?
损失函数也是很重要参考的一点,DFL除了GAN外,只能说毫无亮点,还容易炸。
回复 支持 反对

使用道具 举报

9

主题

73

帖子

5307

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
5307
 楼主| 发表于 2025-5-25 10:05:39 | 显示全部楼层
xunlian 发表于 2025-5-25 07:59
早就提醒你了 不要死屌在DFL 你说的这些 FACESWAP早就可以玩了,自己设置自己的模型架构,编码器 FC(共享/ ...

感谢你提到的两个模型,我会去看一下架构。对我来说换一个网络架构不会很复杂,我自己重写了代码,可以方便增加模型。我主要关心的是哪些架构最有效或者性价比最高,faceswap里模型很多,挑花眼了还是需要参考实践过的大佬们意见。

从DFL架构开始改架构,原因之一是可以尝试复用现成的权重,比如按我这个帖子提到的改动,可以直接用现成的LIAE权重初始化。另一个原因是我自己代码加了一些对我来说比较方便的功能,比如VR版本的人脸检测器(投影变换防止人脸畸变),直接从DFM合成视频不需要先分帧等功能,自己用得还算舒服,暂时没必要换。还是很感谢你提供的建议,之后我会多关注一下faceswap的社区讨论。
回复 支持 反对

使用道具 举报

1

主题

76

帖子

3672

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
3672

万事如意节日勋章

发表于 2025-5-25 10:18:42 | 显示全部楼层
xunlian 发表于 2025-5-25 07:59
早就提醒你了 不要死屌在DFL 你说的这些 FACESWAP早就可以玩了,自己设置自己的模型架构,编码器 FC(共享/ ...

弱弱的问下,现在faceswap可以平替dfl了没啊?
回复 支持 反对

使用道具 举报

3

主题

94

帖子

2357

积分

初级丹圣

Rank: 8Rank: 8

积分
2357
发表于 2025-5-25 11:35:07 | 显示全部楼层
lispmox 发表于 2025-5-25 10:05
感谢你提到的两个模型,我会去看一下架构。对我来说换一个网络架构不会很复杂,我自己重写了代码,可以方 ...

那我在提示一点,faceswap 也可以载入模型权重,编码器/解码器/FC 的权重都可以选择性载入/不载入。说白了 只要训练好一个模型后,新的模型都可以载入原有模型的权重,为了不污染新模型,往往选择只载入编码器权重,在冻结编码器,进行训练,达到加速训练的目的。这样既继承了编码器特征提取能力,又不会受到原模型污染。比DFL采用预训练+正训 好处明显。
不过 有得也有失,faceswap不支持导出DFM实时换脸模型,这点老外的法律,道德还是蛮强的。遮罩方面不如训练了2000W的XSEG,但是这都不是问题,你有改代码能力,直接可以另起一个轮子(Segment Anything)提取遮罩
回复 支持 反对

使用道具 举报

3

主题

94

帖子

2357

积分

初级丹圣

Rank: 8Rank: 8

积分
2357
发表于 2025-5-25 11:40:05 | 显示全部楼层
sex871 发表于 2025-5-25 10:18
弱弱的问下,现在faceswap可以平替dfl了没啊?

FACESWAP可玩性高,DFL在怎么训练 也无非是几个功能的开启/关闭。
faceswap的可玩性在于 你可以自己组装模型,参数,还有损失函数的选择都可以自定义。
至于谁好谁坏 ,没有唯一标准
回复 支持 反对

使用道具 举报

5

主题

45

帖子

6118

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
6118
发表于 2025-8-3 20:02:34 | 显示全部楼层
xunlian 发表于 2025-5-25 11:40
FACESWAP可玩性高,DFL在怎么训练 也无非是几个功能的开启/关闭。
faceswap的可玩性在于 你可以自己组装 ...

哈哈,我选择直接魔改代码。adabelief优化器烂?手动加一个adam。学习率太高?dropout cos算法烂?我手动改自适应学习率。流程麻烦要先视频转图再提脸?我直接新写一个函数实现从视频提脸还自带数据清洗
现在唯一的缺点就是1.X的tensorflow在amd的效率不如2.x,啥时候有空了升级一下,速度又提升50%
回复 支持 反对

使用道具 举报

48

主题

297

帖子

2351

积分

初级丹圣

Rank: 8Rank: 8

积分
2351
发表于 2026-10-7 14:33:46 | 显示全部楼层
本帖最后由 day270010678 于 2026-10-15 17:09 编辑

你这种混合架构大概率不行的,LIAE 之所以脸型匹配好,关键不在 inter_AB/inter_B 的双分支,而在 decoder 是完全共享的。共享 decoder 被迫学成一个"任意 code → src 脸型"的通用映射函数,所以喂 dst 的 code 进去,输出的仍然是 src 脸型。这是 LIAE 的全部秘密。
一旦把末两层拆成独立权重,decoder_dst 会开始拟合 dst 自己的脸型先验(因为它只在 dst 重建任务上训练),decoder_src 则专门拟合 src。这时候你的架构实际上退化成了 "DF + 共享前层",而 DF 脸型不匹配的根因恰恰就是两个 decoder 各自特化了。最好的法子应该是保持 decoder 完全共享,只在末层加一个 src 专属的细节残差头(不参与 swap),其实d参数就是类似的这种构造,没必要混合的,
为什么下采样是 4-5 次而不是更多
主因是瓶颈位置不对,不是深度或收敛速度。
SAEHD 的真正信息瓶颈是 Inter.dense2 输出的 ae_dims,不是空间分辨率。看代码:res=128 时 encoder 4 次下采样到 8×8,flatten 后接 dense 压到 ae_dims。就算再下采样到 4×4 或 2×2,瓶颈仍然是 ae_dims,模型容量一点没变紧,只是白白丢掉了空间结构信息(特征的相对位置关系),重建质量反而下降。
次要因素:
参数量爆炸在最低分辨率。通道数按 ch * min(2**i, 8) 增长(8 倍封顶),dense2 的参数量是 lowest_dense_res² × ae_out_ch × ae_dims,这是全模型大头。res 减半会让这里翻 4 倍。
分布式编码对表情迁移有利。8×8 特征图天然迫使光照、姿态、表情被编码成低频分布式表示,这正是换脸需要的。再压小就退化成接近全局向量,表情细节丢失。

为什么原版 DFL 不用更深网络 + 逐级训练
因为 DFL 已经在不加深主干的前提下把清晰度问题解决了,用的是一套组合拳
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2026-11-19 01:15 , Processed in 0.108877 second(s), 36 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表