deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 191|回复: 8

【萌新求助】Preview参数是 src-src是怎么调出来的?

[复制链接]

3

主题

10

帖子

110

积分

高级丹童

Rank: 2

积分
110
 楼主| 发表于 2024-11-29 10:24:58 | 显示全部楼层 |阅读模式
星级打分
  • 1
  • 2
  • 3
  • 4
  • 5
平均分:NAN  参与人数:0  我的评分:未评
我自己训练必须要要一个 data_src 和一个 data_dst 两个源数据库, 训练的时候也是预览展示 的  src的脸覆盖到dst脸上,一排展示了5个图片,但是我使用了一个别人训练的模型,他的Training preview 展示的只有 src-src的,一排只有两个图片, 请问下这是什么参数决定的 ?


我需要训练的是一个实时视频换脸模型,我阅读了论坛里面的教程,没有注意到有哪个参数可以训练时忽略 data_dst文件,只训练 data_src 的脸型。 请问下有这种只训练data_src 的参数吗?

2861732847045_.pic_hd.jpg
回复

使用道具 举报

1

主题

28

帖子

751

积分

高级丹师

Rank: 5Rank: 5

积分
751
发表于 2024-11-29 11:08:18 | 显示全部楼层
本帖最后由 xunlian 于 2024-11-29 11:24 编辑
ohmygod 发表于 2024-11-29 10:51
有没有一种训练是 data_src 和 data_dst   是同一个人, 然后训练时候 随机把src的模拟结果放在 data_dst  ...

SCR和DST输入后,编码器进行编码,解码器进行解码,解码后的图片和原图相比,通过LOSS函数,体现出差异,在反馈给编码器继续编码。整个过程循环,当LOSS很低时,说白了就是编码后的图像在解码后,通过和原图相比已经很相似了。(SCR和DST都是和自己原图对比,不会像你说的SCR去和DST对比)
此时就说明了编码器的已经很好的学习了图片的编码能力。


对于DF风格,当你输入SCR和DST时,编码器正确编码出图片,然后通过对比编码参数,就能找出SCR和DST相似图片编码参数,送给解码器。这就是换脸的过程。
这2个过程是同时训练进行的,所以你会看到5栏,前面2栏就是SCR-SCR的训练 中间DST-DST训练 最后一栏就是DST-SCR换脸,所以教程都是教你看最后一栏。

LIAE风格的训练过程和上面一样,唯一不同的是DST-SCR换脸这个过程比DF会更复杂一点,训练会久一点(涉及到特征融合计算)。

说白了整个过程就是在训练编码器,解码器相当于一个验证编码功能的验证器。

data_src 和 data_dst都是一个人,这种训练方法,不伦是DF还是LIAE,由于编码器都是共享的,其实就是相当于编码器2倍速度和解码器已(LIAE 2倍)/(DF 1倍)速度去学习一批素材,加快了学习速度。但是训练时间过长,会带来过拟合效果

评分

参与人数 1贡献 +1 收起 理由
Terea + 1 十分给力!

查看全部评分

回复 支持 1 反对 0

使用道具 举报

1

主题

28

帖子

751

积分

高级丹师

Rank: 5Rank: 5

积分
751
发表于 2024-11-29 10:37:47 | 显示全部楼层
没有 也不可能只训练SCR。
你要知道 不管是DF还是LIAE,SCR和DST必需同时训练,才能找出相似的特征。
回复 支持 反对

使用道具 举报

3

主题

10

帖子

110

积分

高级丹童

Rank: 2

积分
110
 楼主| 发表于 2024-11-29 10:43:47 | 显示全部楼层
本帖最后由 ohmygod 于 2024-11-29 10:47 编辑
xunlian 发表于 2024-11-29 10:37
没有 也不可能只训练SCR。
你要知道 不管是DF还是LIAE,SCR和DST必需同时训练,才能找出相似的特征。 ...

请问下图片上面那个 Preview: ” SAEHD src-src“ 代表的是什么意思?我自己从从头开始训练时显示的是 Preview: “SAEHD masked”
回复 支持 反对

使用道具 举报

3

主题

10

帖子

110

积分

高级丹童

Rank: 2

积分
110
 楼主| 发表于 2024-11-29 10:51:56 | 显示全部楼层
有没有一种训练是 data_src 和 data_dst   是同一个人, 然后训练时候 随机把src的模拟结果放在 data_dst 任意一张图片的脸型上,然后通过 对比 原始dst 和 覆盖后的 相似度来 判定在当前的训练效果
回复 支持 反对

使用道具 举报

10

主题

137

帖子

1758

积分

初级丹圣

Rank: 8Rank: 8

积分
1758
发表于 2024-11-29 11:46:00 | 显示全部楼层
模型分辨率,大于256的一般显示这样的,可以论坛搜索预览,修改窗口
回复 支持 反对

使用道具 举报

33

主题

709

帖子

7884

积分

高级丹圣

【少女之友】

Rank: 13Rank: 13Rank: 13Rank: 13

积分
7884

开心娱乐节日勋章

发表于 2024-11-29 13:17:09 | 显示全部楼层
晕,你按空格键就切换到DST了啊。
回复 支持 反对

使用道具 举报

3

主题

10

帖子

110

积分

高级丹童

Rank: 2

积分
110
 楼主| 发表于 2024-11-29 14:12:10 | 显示全部楼层
xunlian 发表于 2024-11-29 11:08
SCR和DST输入后,编码器进行编码,解码器进行解码,解码后的图片和原图相比,通过LOSS函数,体现出差异, ...

感谢耐心解答
回复 支持 反对

使用道具 举报

3

主题

127

帖子

2281

积分

初级丹圣

Rank: 8Rank: 8

积分
2281
发表于 2024-11-30 17:16:59 | 显示全部楼层
xunlian 发表于 2024-11-29 11:08
SCR和DST输入后,编码器进行编码,解码器进行解码,解码后的图片和原图相比,通过LOSS函数,体现出差异, ...

这个解释得真好,教科书级别了
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-12-13 06:35 , Processed in 0.138140 second(s), 41 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表