【求助】是否可以让DFL训练出来融合多个人容貌的模型？

Slurp4398

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

有这样的一个脑洞，是否可以让DFL训练的时候放两个人图片，DFL会学习到两个的特征吗？
还是会对两个人特征进行一下平均什么的？
会出现什么结果呢？有人试过吗？

come3002

可以的。很多人用 来补角度。主体的 那个比例要大，做基础包。
另外的一个或多个，脸型五官越接近越好。做临时辅助使用。
比如刘亦菲 SRC基础包。训练过程测试 个别的 仰角角度不够。用 很像的樱花/国内明星/金鱼补角度 图片补上来 刘亦菲缺少的仰角角度（少量，数量不能太多），
训练一段时间，看预览图和测试，发现大概有好转。把 该角度 樱花/国内明星/金鱼补角度删掉即可。
重新用基础包跑。

Slurp4398

come3002 发表于 2023-12-30 00:13
可以的。很多人用 来补角度。主体的 那个比例要大，做基础包。
另外的一个或多个，脸型五官越接近越好。做 ...

好的，这样最终的训练出来还是刘亦菲的相貌吧？

come3002

Slurp4398 发表于 2023-12-30 09:27
好的，这样最终的训练出来还是刘亦菲的相貌吧？

效果如何，取决于补充的 图片跟 src的脸型五官 相似度。
如用 2005年的 刘亦菲素材 时候，发现缺少某角度的 闭眼仰角素材。可以找 跟 刘亦菲很像的王xx 的闭眼 仰角来补充（切记，训练一段时间有效果就要删掉 王xx 的图片）。

Slurp4398

come3002 发表于 2023-12-30 09:55
效果如何，取决于补充的 图片跟 src的脸型五官 相似度。
如用 2005年的 刘亦菲素材 时候，发现缺少某角度 ...

明白了，谢谢

seancai110

训练得少会有融合的效果，训练越久，越分离。
DFL本质上是图片匹配，从src里面学习对应的角度和颜色匹配给dst。
实际上，补角度如果练多了，会出现正脸像明星，侧脸像补角度模型的情况。只不过本来极端角度就很难看不出是谁，所以无所谓，只要不是糊的就行。

Slurp4398

seancai110 发表于 2023-12-30 18:43
训练得少会有融合的效果，训练越久，越分离。
DFL本质上是图片匹配，从src里面学习对应的角度和颜色匹配给d ...

有什么办法故意融合两个人的脸吗？

come3002

Slurp4398 发表于 2023-12-31 14:47
有什么办法故意融合两个人的脸吗？

多种办法。你可以试试。
训练时候办法。
SRC 利用A和B两个 脸型接近人。把A和B做处理用好遮罩。比如A的 脸（眼睛嘴巴 牙齿 画遮罩 不要），要B的 嘴巴 牙齿 （脸画遮罩）。找 DST（数据集C）去训练。
就可以融合2个人的特征（脸型是A但是 嘴巴眼睛 牙齿等是B的）
训练合成之后的办法。
SRC A 和找 DST（数据集C）去训练。训练结束换脸第一次。脸部绝大部分信息是 A提供的（c做载体）。之后， 另外的一个丹B （ 提供眼睛 嘴巴 牙齿信息） 再换一次，换的时候只换 眼睛 嘴巴。就可以融合2个人的特征（脸型是A但是 嘴巴眼睛 牙齿等是B的）

由于B提供 眼睛 嘴巴 牙齿信息。B 素材细节要求比较高。要练出来B的 嘴唇纹理 ，B的素材必须是能看清嘴唇纹理等 眼睛 嘴巴 牙齿相关细节。
个人观点 推荐 B 用 樱花/欧美等容易获得渠道。
网络下载国内4k剧 切脸 获得 B素材 是有难度的。比如右边刘诗诗 最新4k古装剧。好像 用过美颜。牙齿脸部的人脸信息 没有左边的樱花 4k 细节好，不太适合做B素材。
而 左边的樱花4k 嘴唇牙齿非常漂亮清晰。特别适合做B素材。

Slurp4398

come3002 发表于 2023-12-31 15:19
多种办法。你可以试试。
训练时候办法。
SRC 利用A和B两个 脸型接近人。把A和B做处理用好遮罩。比如A的  ...

感谢分享，我学习一下。

come3002

Slurp4398 发表于 2024-1-3 22:59
感谢分享，我学习一下。

举例：图1上 网络下载 带下牙齿 作品 一帧截图。
推测是以 A明星为SRC，以 樱花C为载体 换脸。
这个时候脸型基本满意，但是 嘴唇和牙齿 影响感观。
可以 找 一个 练好 嘴唇纹理下牙齿的B丹。合成时候 换脸（嘴巴 中的 牙齿和 嘴唇 舌头）。进行第二次换脸。

意义：
利用了A的脸部信息，B的嘴唇纹理 牙齿信息。利于大幅提升A某些换脸 镜头 牙齿/嘴唇纹理质量
局限：
1. 需要有个练好 嘴唇纹理下牙齿 B丹。门槛高。
2. 需要有遮罩。只适合少量的对比较感兴趣的 网络合成作品 二次换脸（嘴唇 牙齿）。
3. 对载体C质量要求高。不适合太模糊的载体（大量的模糊帧。二次换脸错上加错，导致抖动等问题）


图1 上 看不到嘴唇纹理，下牙齿连成1个白色月牙几乎没有ai修复的可能。
可能SRC 中 下牙齿，嘴唇纹理素材少。导致下牙齿和嘴唇纹理失败。这是很多网络下载的 作品的通病）
图1下
二次换脸后，得到很清晰下牙齿和嘴唇纹理 。感官得到改善。





炼制思路，借鉴了 lau9 的双丹法。【探讨】有没有可能基于DF模型给SRC超分，从而走捷径？