deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 503|回复: 11

使用A专丹来练B专丹,删ab后,需重置编码器吗

[复制链接]

51

主题

920

帖子

7394

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7394

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2025-10-15 03:34:27 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评


问了千问、豆包、GPT、Gemini,
结论差不多

都说使用a个人专丹来训练b个人专丹,
除了删ab,还需要重置编码器
如果重置编码器,残留可能会低到8%,
如果不重置编码器,残留可能会有30%,
它们最推荐的是,使用预训练模型,不需要删ab,也不需要重置编码器

不过,这四个ai,重置编码器的方法不完全一样。
有的只保留一个文件,有的只保留三个文件,其他的都删掉,或者替换

360截图20251015030019929.png
360截图20251015023331821.png
360截图20251015003705608.png
360截图20251015024334944.png

回复

使用道具 举报

3

主题

94

帖子

2327

积分

初级丹圣

Rank: 8Rank: 8

积分
2327
发表于 2025-10-16 10:34:59 | 显示全部楼层
WaveBedo 发表于 2025-10-16 00:34
ai上面的说法是
保留解码器,说这是最宝贵的经验
编码器反而要替换掉

LIAE是共用一个解码器 所以始终都会有原SRC/DST AB 的权重保留。
预训练和A丹练B丹 本质上是想用已经获得的编码和解码权重去训练新的数据,所以直接观感就是2 4可以立马出图,但换脸最终追求的不是2 4列立马出图 而是第5列的AB出图。

在整个训练中 1,通过编码器和解码器协同作用 计算机可以识别各种人脸并清晰的理解,这就是2 4列随着不断的训练会逐渐清晰 2.随着 2 4列不断清晰 系统就能把最SRC/DTS的特征融合 第五列也就逐渐清晰(至于像不像SRC  这个影响因素很多 ,不探讨)。1 2两个步骤同时进行,在不断的训练中 解码器储存着SRC/DST AB的解码映射。

所以只有编码器是最干净的 只负责图像编码。

最理想的迁移训练 就是利用上一个模型的编码能力 解码能力(保留解码DST权重 删除 SRC和AB权重),去训练新的数据。但是实际情况DFL做不到。

实际上能勉强做到只有保留编码器权重,让中间层A/B/ AB及解码器从零开始。
打个比方 全部从零开始训练就好像是一个瞎子会学画画 首先要把眼睛治好 然后开始学画画
               利用上一个模型编码器 其余从零开始训练 相当于一个视力很好的人 直接学画画

即使采用这样的策略仍有很大的挑战,由于编码器能力很强 中间层 解码器能力为0,DFL没有冻结权重的选项,此时解码器(LOSS函数元音)反而会干扰编码器。

所以真想偷懒的话 还是训练一个预训练模型,但是我定义的预训练,可不是论坛里那些上百万的训练,2 4列立马出图的,这种模型是训练过度的模型。真正意义的预训练反而是2 4列能模糊看到五官轮廓即可的预训练。换脸成果要的是第五列,2 4列在清晰有屌用。

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1 感谢分享

查看全部评分

回复 支持 1 反对 0

使用道具 举报

9

主题

171

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
11868
发表于 2025-10-15 12:00:05 | 显示全部楼层
A丹就相当于底丹了,肯定要删AB,不过泛化性很差,不建议这样玩。

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1 感谢分享

查看全部评分

回复 支持 反对

使用道具 举报

14

主题

1233

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
16288
发表于 2025-10-15 14:03:28 | 显示全部楼层
DFL网上的资料本来就很少,很多东西没有公论。你去问AI,AI又不懂,不过是生成一些幻觉给你罢了

合成使用的模型本来就是encoder,decoder,和interAB三部分组成,你删了两部分,相当于把原来的src信息全都抹掉,那和重新练有啥区别。真的不如直接用预训练的神丹。

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1 好的

查看全部评分

回复 支持 反对

使用道具 举报

15

主题

3611

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
19707

真我风采勋章万事如意节日勋章

发表于 2025-10-15 14:30:58 | 显示全部楼层
本帖最后由 wtxx8888 于 2025-10-15 16:33 编辑

encoder删不删,无任何影响,AI这回答 纯傻比。。。
回复 支持 反对

使用道具 举报

3

主题

94

帖子

2327

积分

初级丹圣

Rank: 8Rank: 8

积分
2327
发表于 2025-10-15 22:00:28 | 显示全部楼层
计算机没有眼睛,编码器的作用是把图像(视觉)转成计算机能识别的代码,删除编码器权重 相当于把一个视力5.0的人 直接打成了瞎子。

想用A丹转练B丹,核心思想就是想偷懒,节省时间。本质上和练所谓预训练丹一个道理。

真想偷懒节省时间,那就要保留编码器而删除AB和解码器的权重。
回复 支持 反对

使用道具 举报

51

主题

920

帖子

7394

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7394

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2025-10-16 00:34:11 | 显示全部楼层
本帖最后由 WaveBedo 于 2025-10-16 01:01 编辑
xunlian 发表于 2025-10-15 22:00
计算机没有眼睛,编码器的作用是把图像(视觉)转成计算机能识别的代码,删除编码器权重 相当于把一个视力5 ...

ai上面的说法是
保留解码器,说这是最宝贵的经验
编码器反而要替换掉
三个ai说,应该保留解码器,只有一个说解码器、编码器都删掉

回复 支持 反对

使用道具 举报

51

主题

920

帖子

7394

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7394

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2025-10-16 00:52:01 | 显示全部楼层
本帖最后由 WaveBedo 于 2025-10-16 00:56 编辑

wtxx8888 发表于 2025-10-15 14:30
encoder删不删,无任何影响,AI这回答 纯傻比。。。

ai的说法是,
用相同参数的预训练模型中的encoder来替换

不替换的话
我觉得这跟混血有点类似
数据里的A如果不清理干净,
它应该始终会有影响,
即使重新整理数据,它始终还在里面
回复 支持 反对

使用道具 举报

15

主题

3611

帖子

1万

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
19707

真我风采勋章万事如意节日勋章

发表于 2025-10-16 01:39:32 | 显示全部楼层
本帖最后由 wtxx8888 于 2025-10-16 02:54 编辑
WaveBedo 发表于 2025-10-16 00:52
wtxx8888 发表于 2025-10-15 14:30
encoder删不删,无任何影响,AI这回答 纯傻比。。。
ai的说法是,

AI就是扯淡,你自己,单独只删除 这文件,然后继续训练看看。
重新补的(你以为的新文件,跟删除前的文件,一摸一样),不会对当前模型 有任何影响。
这文件就是个方程式集合,同 乘法符号的作用(密码本),它前后带入的数据,才是图像。
任你重置百遍,也是同一个密码本,负责解密翻译而已。(翻译完数据,才是训练关联 成像 映射等等,训练部分 已经跟它,屁关系没有了)
方程式是固定的,换了四维或架构,才会变方程(encoder 改变大小)。

评分

参与人数 1贡献 +1 收起 理由
WaveBedo + 1 感谢分享

查看全部评分

回复 支持 反对

使用道具 举报

51

主题

920

帖子

7394

积分

高级丹圣

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7394

万事如意节日勋章开心娱乐节日勋章

 楼主| 发表于 2025-10-17 02:28:32 | 显示全部楼层
zsgdfl2023 发表于 2025-10-15 12:00
A丹就相当于底丹了,肯定要删AB,不过泛化性很差,不建议这样玩。

好的
A专丹练B专丹,
众说纷纭,
还是尽量用预训练模型算了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2025-12-8 15:53 , Processed in 0.120699 second(s), 44 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表