【萌新求助】Preview参数是 src-src是怎么调出来的？

ohmygod

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

我自己训练必须要要一个 data_src 和一个 data_dst 两个源数据库， 训练的时候也是预览展示 的  src的脸覆盖到dst脸上，一排展示了5个图片，但是我使用了一个别人训练的模型，他的Training preview 展示的只有 src-src的，一排只有两个图片， 请问下这是什么参数决定的 ？


我需要训练的是一个实时视频换脸模型，我阅读了论坛里面的教程，没有注意到有哪个参数可以训练时忽略 data_dst文件，只训练 data_src 的脸型。 请问下有这种只训练data_src 的参数吗？

xunlian

ohmygod 发表于 2024-11-29 10:51
有没有一种训练是 data_src 和 data_dst   是同一个人， 然后训练时候 随机把src的模拟结果放在 data_dst  ...

SCR和DST输入后，编码器进行编码，解码器进行解码，解码后的图片和原图相比，通过LOSS函数，体现出差异，在反馈给编码器继续编码。整个过程循环，当LOSS很低时，说白了就是编码后的图像在解码后，通过和原图相比已经很相似了。（SCR和DST都是和自己原图对比，不会像你说的SCR去和DST对比）
此时就说明了编码器的已经很好的学习了图片的编码能力。


对于DF风格，当你输入SCR和DST时，编码器正确编码出图片，然后通过对比编码参数，就能找出SCR和DST相似图片编码参数，送给解码器。这就是换脸的过程。
这2个过程是同时训练进行的，所以你会看到5栏，前面2栏就是SCR-SCR的训练 中间DST-DST训练 最后一栏就是DST-SCR换脸，所以教程都是教你看最后一栏。

LIAE风格的训练过程和上面一样，唯一不同的是DST-SCR换脸这个过程比DF会更复杂一点，训练会久一点（涉及到特征融合计算）。

说白了整个过程就是在训练编码器，解码器相当于一个验证编码功能的验证器。

data_src 和 data_dst都是一个人，这种训练方法，不伦是DF还是LIAE，由于编码器都是共享的，其实就是相当于编码器2倍速度和解码器已（LIAE 2倍）/（DF 1倍）速度去学习一批素材，加快了学习速度。但是训练时间过长，会带来过拟合效果

xunlian

没有 也不可能只训练SCR。
你要知道 不管是DF还是LIAE，SCR和DST必需同时训练，才能找出相似的特征。

ohmygod

xunlian 发表于 2024-11-29 10:37
没有 也不可能只训练SCR。
你要知道 不管是DF还是LIAE，SCR和DST必需同时训练，才能找出相似的特征。 ...

请问下图片上面那个 Preview: ” SAEHD src-src“ 代表的是什么意思？我自己从从头开始训练时显示的是 Preview： “SAEHD masked”

ohmygod

有没有一种训练是 data_src 和 data_dst   是同一个人， 然后训练时候 随机把src的模拟结果放在 data_dst 任意一张图片的脸型上，然后通过 对比 原始dst 和 覆盖后的 相似度来 判定在当前的训练效果

小飞侠

模型分辨率，大于256的一般显示这样的，可以论坛搜索预览，修改窗口

jinyuan37

晕，你按空格键就切换到DST了啊。

ohmygod

xunlian 发表于 2024-11-29 11:08
SCR和DST输入后，编码器进行编码，解码器进行解码，解码后的图片和原图相比，通过LOSS函数，体现出差异， ...

感谢耐心解答

Terea

xunlian 发表于 2024-11-29 11:08
SCR和DST输入后，编码器进行编码，解码器进行解码，解码后的图片和原图相比，通过LOSS函数，体现出差异， ...

这个解释得真好，教科书级别了