求解惑，软件换脸的原理是整张图片换，还是五官分别换

qdpushaver

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

最近在训练模型的时候，发现了一个问题。简单说就是：
dst其中一个脸部是皱眉、眼睛斜瞟、微笑（有法令纹）、但是嘴巴没张开。
src有两张，一张是除了嘴巴，其他的五官都能跟dst差不多对上；
另一张是嘴巴跟dst很合适，但是其他五官不对。
然后，训练了60多万次，bs试过4，也试过16，各个参数如随机扭曲、嘴眼优先、学习率下降、梯度裁剪的各种开关组合也换着搭配，都得不出一个理想的效果，就是上面这一帧dst，始终都是src第一张的情况，五官对得上，但是嘴巴就张着，搞得表情很奇怪。

现在，在想，这软件的原理，是从src里面挑一张相似的，整张wf脸去换dst，还是是说，可以把src的可用的五官摘出来，根据dst的五官分布，合成一张新的脸去换呢。
如果是整张去换，那src没有个九成像的素材，岂不是就没法达成一个满意效果了。
如果是重新生成一张脸去换，我这种情况，应该着重用哪种参数组合来训练，来解决当前阶段的这个问题呢。

qq1264643521

你这主要问题是src素材不足，可以先丰富一下src的素材。

qq1264643521

qq1264643521 发表于 2023-8-21 20:33
你这主要问题是src素材不足，可以先丰富一下src的素材。

如果是公众人物就多上网找一些表情素材，如果不是公众人物就多找些公众人物的奇奇怪怪的表情做dst，合成后得到的图片填充入src素材库内，再进行训练。

qq1264643521

曲线救国一下，你可以多看看金鱼和随风大佬的帖子。

come3002

如果是整张去换，那src没有个九成像的素材，岂不是就没法达成一个满意效果了。
==========================


我的解决办法。底丹转专丹时候，只用女明星SRC 既然做SRC也做DST。使得 五官和脸型 用的 纯的 女明星的人脸。
然后 对DST 零训练直接合成。即可。这样 DST的人脸不会写入model。
4k 电视剧 做DST。
零训练直接合成。开相同参数
左边 论坛下载，  从0开始迭代到450w，迭代450w。
中间 6.11做底丹，从87w迭代到121w，迭代 35w。
中间的 古力 6.11换脸成功。脸型匹配，五官均匀。出上下牙齿齿缝。
左边的 论坛下载 的专丹 五官识别似乎有些不太好。左腮有虚影

用樱花4k 路人
放大看细节 ，也得出类似结论。

maymay

come3002 发表于 2023-8-21 21:24
如果是整张去换，那src没有个九成像的素材，岂不是就没法达成一个满意效果了。
======================== ...

别人是SRC换上去DST不像，你却搞SRC跟DST一样对练，这是什么解决办法啊哥？

come3002

maymay 发表于 2023-8-21 22:21
别人是SRC换上去DST不像，你却搞SRC跟DST一样对练，这是什么解决办法啊哥？ ...

解决办法就是炼好用的专丹啊。

类似坛主 迪丽热巴RW200w或 GAN470w 迭代那种，零训练直接合成 ，出好 效果的专丹啊。

seancai110

qq1264643521 发表于 2023-8-21 20:36
如果是公众人物就多上网找一些表情素材，如果不是公众人物就多找些公众人物的奇奇怪怪的表情做dst，合成 ...

你在说什么？你src本来就没有奇怪表情，你用奇怪表情的dst合成，要么一团模糊，要么表情对不上。得不到有意义的图片。

seancai110

我个人觉得，DFL的模型是有一定迁移能力的，但是，全脸的影响会很大。就和人一样，模型也是先从大的轮廓入手，再到小的细节。

我那个牙齿图集的帖子里面也说了，牙齿图练久了，模型已经会识别出黑背景光头的人脸了。黑背景光头的图，生成的就是除了牙齿其他地方都是模糊的。但是正常背景的全脸图就还是正常。

我以前也用过相似人脸补眼神。就是坛主那个Koreandolllikeness的DFL模型。因为src是来自ai绘画，所以眼神不够丰富，src没有对应眼神的情况下，经常合成出斗鸡眼。我合成了一批图，然后再加上3d模型做的眼神，一起重新练。最后大部分斗鸡眼都没有了。

你这个情况应该是，DFL还是更倾向于匹配大多数的数据。可能除了嘴其他都能匹配上，就选了概率最大的情况。我建议你试一下，把这两张图各复制一张，分别写一个只有嘴遮罩和排除嘴的遮罩。就像我那个牙齿图集一样，这样才能明确告诉模型，把嘴的动作和脸部区别开来。

qdpushaver

seancai110 发表于 2023-8-22 00:26
我个人觉得，DFL的模型是有一定迁移能力的，但是，全脸的影响会很大。就和人一样，模型也是先从大的轮廓入 ...

感谢，我也是想到了遮罩，试一下。