src眼睛、嘴巴可以相互交换，生成新的脸吗？

WaveBedo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

左边的两张脸，可以生成右边的两张脸吗
如果可以的话，那就只需要两张脸就可以了；
如果不行的话，那就需要四张脸。
这会极大地影响src图片的数量，所以想搞清楚这个问题

H8juvbv

WaveBedo 发表于 2023-11-21 18:01
你这个发现是一个很重要的发现啊
好多原理我都还没搞得清楚

想要生成的新脸为基础，再去生成，得合成后，把合成图切脸加进去src才行。
不过DFL本来的就有学习过渡的功能，比如生成中间值。例如src两个：  一个睁大大的眼睛+一个闭眼。
是可以生成1个半闭眼的表情的。

Lau9

脸部肌肉是联动的，不是2D拼接的。再者，炼丹是个玄学，也许会 也许不会。等大佬来回答吧

wtxx8888

不会闭眼练成睁眼，你SRC闭眼的，再扭曲也变不出来眼珠子。

所以DFL的SRC素材挑选上，一再强调要求表情与光影丰富。

DFL不是AI绘图，只会自动挑选表情相近的图去匹配DST并互换，不会无中生有。

WaveBedo

wtxx8888 发表于 2023-11-21 00:00
不会闭眼练成睁眼，你SRC闭眼的，再扭曲也变不出来眼珠子。

所以DFL的SRC素材挑选上，一再强调要求表情与 ...

大概明白了，就是模型的每一个角度、表情、光影几乎都是来自于src。
dst有的角度、表情、光影，src都有，才能达到最佳的状态


另外，
src某些角度、表情、光影，
如果与dst差异较大的，其实可以删掉，因为根本用不上

come3002

丰富SRC是根本。
做法：对一部 妆容一致的 无刘海古装剧 4k近景切脸1536/1024。中景镜头1024，远景备用
比如近景逐帧切割得到5w，97%去模糊删重得到3w，90%删除再得到1w精简主体。
1w做SRC 主体包 以“Z”开头。正训开始DST是数据集，那么练练一定阶段就要测试（以坛主的丹做对比，零训练直接合成）。
如果比不过坛主的细节不丢人。一定要分析是缺了什么SRC。
若合成发现本应对应DST痛苦表情，但换脸后表情呆板，就要补 SRC哭的镜头 K开头，眼神单一需要 补充 抬头听闻信息惊诧素材，命名Y开头素材。（5w中找对应的 哭，眼神 闭眼镜头逐帧切割，模糊的也保留）。
又比如换脸测试的是4k 樱花DST， 但是部分闭眼场景多，相对SRC闭眼几乎很少，就去5w中找对应的角度 闭眼镜头（逐帧切割，模糊的也保留）。
补上素材后训练一段时间，跟坛主对比，看细节上是否改善。
这样既能保证主体是高质量素材训练得来，又能满足表情细节的需要。

不方便用樱花。以其他代替。
4k电视剧 平板截图。切脸后，相同参数零训练直接合成。

左1 原版 左3 刘亦菲 左4 陈都灵 从83w开始 103w迭代，累计跑了20w





左4 闭眼状态，上牙齿齿缝和上嘴唇纹理细节出来了。
闭眼补充素材成功后，其他场景以此类图补充。

WaveBedo

come3002 发表于 2023-11-21 01:24
丰富SRC是根本。
做法：对一部 妆容一致的 无刘海古装剧 4k近景切脸1536/1024。中景镜头1024，远景备用
比 ...

你的效果很好。要每一个角度、表情、光影都对得上，才能达到最佳状态。
我现在只轻度使用查重软件了，我发觉很多表情都被它去掉了。
我打算先手工选重要的图片，再轻度使用一下查重

come3002

WaveBedo 发表于 2023-11-21 01:50
你的效果很好。要每一个角度、表情、光影都对得上，才能达到最佳状态。
我现在只轻度使用查重软件了，我 ...

每一个角度、表情、光影都对得上，才能达到最佳状态

==========================
主体包质量要好少而精，可以快速出清晰细节（也就是说删重是必须的）。
补充素材是画龙点睛，但这个工作非常繁琐，可以说无止境，早期应以实用为主，抓主要矛盾。
比如直播类，就找正脸对话，眼神目视前方对话的 微笑啊 说话SRC镜头（逐帧切割），放弃其他。
如果是舞蹈类DST，优美舞蹈多是头部转动特别多并重点出现微笑表情，那么就多补转头（以及抬头）类并微笑表情的SRC 镜头，逐帧切割，放弃其他
如果是 樱花类， 嘴巴长大的 镜头非常常见，尤其会容易露出下牙齿。这类镜头下，就要找 嘴巴张大的露出下牙齿的SRC镜头（国内女性 要么哭泣大哭，要么吵架 发脾气时候 嘴巴幅度大，逐帧保留）。
（或许真正的找到了少量DST最需要的镜头练练后，可能会加快训练速度和提升合成的细节，而出现四两拨千斤等意想不到的的效果）。

DFLive

WaveBedo 发表于 2023-11-21 01:14
大概明白了，就是模型的每一个角度、表情、光影几乎都是来自于src。
dst有的角度、表情、光影，src都有， ...

第二段错了，dst是可以换的，所以不存在“根本用不上”的src，除非你一辈子只用一套dst，而且删src也是费时费力的事情，放着不删又不会影响什么；src的基本原则就是角度、表情、光影越丰富越好，这对DF结构尤其重要，liae结构尚能在角度、表情缺失的情况下生成大致能用的图。

H8juvbv

问题不错。

经过实践，发现眼和嘴的元素是单独分开的。
src两张： 1 闭眼+张嘴    2  睁眼+闭嘴，
可以生成 闭眼+闭嘴，还有张嘴+张眼的图。
自己可以去找几张图跑几千迭代来测试。
还发现一个现象：
同一个角度的DST，取用SRC时候，发现有随机性（也可能是drc太少，所以测试不准确）。
比如同一角度，DST是闭眼的，而src中有闭眼，也有睁眼，有时dst却采用了睁眼的那个，具体原因不清楚。




实例如下：
SRC



DST



结果：








当然SRC表情还是越丰富越好。

WaveBedo

DFLive 发表于 2023-11-21 02:59
第二段错了，dst是可以换的，所以不存在“根本用不上”的src，除非你一辈子只用一套dst，而且删src也是费 ...

我的意思是强调针对性，如果考虑用liae那就不用删。
很多人都是用来换特定场景的，这些场景的表情，光影都是有一定范围的。
如果将来所有dst场景都不会出现这些表情、光影，这些src是不是就用不上啦。
这是针对自己玩的，
如果打算分享给别人，那当然是越全越好了