换脸相似度问题

bsqkl2013

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

各位大佬，不知道为什么我练的许多的素人网红都非常的吃脸型，只有极少数的人能够与他们相匹配匹配。这段时间练的一个网红就是开真脸0.05跑了200万，打算想练万能模型，但最后试下来只有那一两个老师换上去有些像，其余的根本都看不出来……真的是绝望了，别说万能丹了，能正常当个专人丹都费劲

come3002

bsqkl2013 发表于 2026-9-30 23:59
我把这些都筛了一遍，剩下的都比较匹配，这也是没办法的事，如果不修复不补表情角度那连最基本的清晰度和 ...

该不是造成最后不像的原因

============
一点建议。暂停真脸200w丹的训练。看通过一定的办法有没有回转的余地。
海选合适脸型樱花阶段：

先转入 搜集 载体环节。比如搜集 樱花老师作品。
数量 100部 樱花，然后找 脸型接近的樱花作品，比如 选出了10位樱花老师 10部以上（脸型接近，正脸小角度 为准）

预实验阶段。
之后，对选出的 dst为 脸型接近的某10部樱花，导入剪映每部截取 一点 正脸 小角度 片段。再导出做 樱花测试合集（10位老师正脸 小角度）测试视频dst 。
1秒1帧切脸。记作樱花A、B、CDEFGHIJ等。


对比训练测试阶段：

方案一：200w 真脸丹 model真脸200w。直接合成。也就是利用你的 这个丹。直接合成樱花。


方案二：回退开真脸之前，如开随机扭曲的model备份，进行训练。

也就是 你的 src vs 香港中文数据集 的 随机扭曲的 model ，假设 modelA随机丹
然后 src vs 该樱花预实验dst， 随机扭曲训练。5000迭代以上；关闭随机，开真脸   500迭代。
随机扭曲：关随机 真脸 10：1.  保持较高的相似度。


方案三：200w真脸丹。再开随机扭曲，训练。

src vs 该樱花预实验dst， 随机扭曲训练。5000迭代以上；关闭随机，开真脸   500迭代。
随机扭曲：关随机 真脸 10：1.  保持较高的相似度。

合成测试与对比阶段。
然后逐帧对比看，三个方案，人脸的相似度有没有变化。


各方案的预期：
假设  方案 二、较好，某几部 有比较好的效果。说明对于这几部载体而言， 你的model 真脸200w 不太适合使用。可用 方案二 补救。

假设  方案 三、较好。某几个樱花老师几部作品效果好。说明 这几个樱花载体老师没有问题，只是你的model 真脸200w 不太适合使用。可用 方案三 补救。


假设：三个方案 相似度 无变化。
10部 不同 樱花的 效果都很差。说明说明 是你 的src 网红原因导致非常特殊。很难找到 脸型接近的 载体。
分析： 网红直播时候会开 美颜，也会开瘦脸，瘦下巴，等等。导致 你的 网红人脸 并不是原始的人脸。而是 经过加工后的 人脸。
这个时候可 采用斗转乾坤的办法。对你的 樱花老师们也 开 瘦脸 开瘦下巴。
具体修改 dst 人脸的办法。src 导入 刀哥补角度 。樱花10位老师也是 。选择 同一角度的 src网红，和 同一角度 的 正脸 小角度的 樱花老师们。截图发给豆包。让它帮忙 分析 如果开剪映，多少 参数 能修成 src 网红的脸型。
豆包会 说一堆参数。

把樱花导入剪映 ，按照豆包的参数，开瘦脸开修颧骨等。修改后导出 修脸后的 10部樱花预实验片段测试视频dst。
以 网红（瘦脸）vs 樱花（剪映瘦脸），或许会更有匹配性，这样重新进行上述随机扭曲、关闭随机扭曲 真脸测试。

（注：
1. src vs 10樱花 老师 测试合集dst。参数开随机扭曲：关闭随机扭曲 开真脸 10：1  （5000：500）是 临时方案，提升 跟src的相似度。数据仅供参考。
如果发现 随机扭曲 5000迭代 训练 预览图第五列 相似度还是没有回来。就再多开一点随机扭曲。比如10000、20000迭代。直到 预览图 训练 第五列 比较像为止。
2.关键锁住相似度。如果发现 开随机扭曲 很像，一关随机 开真脸 马上向dst迁移而相似度下降，就改变思路 20：1 ，或 关闭随机 开真脸 加一个 学习率下降。尽量以此来锁住相似度，降低相似度的损耗。）

bsqkl2013

src一共5万来张，其中补角度表情占不到2万张，但非常全，都用GPEN和GFPGAN修复了一遍。dst是用的香港大学的celeba数据集

mzh920

bsqkl2013 发表于 2026-9-30 23:48
src一共5万来张，其中补角度表情占不到2万张，但非常全，都用GPEN和GFPGAN修复了一遍。dst是用的香港大学的 ...

匹配度是个问题，还是得匹配的才行

bsqkl2013

mzh920 发表于 2026-9-30 23:51
匹配度是个问题，还是得匹配的才行

我把这些都筛了一遍，剩下的都比较匹配，这也是没办法的事，如果不修复不补表情角度那连最基本的清晰度和表情都过不了关，后面随着拍摄的视频越来越多应该会删一些。但我感觉这应该不是造成最后不像的原因，最后那真是一点都看不出来，就离谱

bsqkl2013

bsqkl2013 发表于 2026-9-30 23:48
src一共5万来张，其中补角度表情占不到2万张，但非常全，都用GPEN和GFPGAN修复了一遍。dst是用的香港大学的 ...

另外我补充一下，模型是用的五彩大神的320 wf df架构的

forumphp

不妨有空时测试一下AMP，反正练都练了，也不在乎多一种方式，仅供参考建议。

猫之汉化

就现在来看。GPEN和GFPGAN超分出来的东西就一垃圾，你认真点开超分后的每张图看了吗，变形扭曲不像的部分非常多，这两个技术在当年还算有用，从现在来看非常过时.当然，你的底单也许也有问题，但是我认为绝大部分有原因是你的素材本身就烂

bsqkl2013

猫之汉化 发表于 2026-10-1 15:13
就现在来看。GPEN和GFPGAN超分出来的东西就一垃圾，你认真点开超分后的每张图看了吗，变形扭曲不像的部分非 ...

大佬这些网红原视频切出来确实非常糊，我用seedvr2.5超分后感觉还是不清晰，用gpen和gfpgan超分出来倒是非常清晰。其中有些图片确实变形的很奇怪，我倒是都删了。gpen和gfpgan超分出来相似度也会变低，我就只能尽量留下那些相似度高的，目前还没有找到其他合适的超分软件……

bsqkl2013

猫之汉化 发表于 2026-10-1 15:13
就现在来看。GPEN和GFPGAN超分出来的东西就一垃圾，你认真点开超分后的每张图看了吗，变形扭曲不像的部分非 ...

底丹我是直接花灵石买的的五彩大神的320的模型，应该没有什么问题吧