专丹及换脸的新练法

wtxx8888

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:5  参与人数:3  我的评分:未评

现在的专丹练法，即一份SRC与DST万人包对练，实际上这是一种低效的常规练法（新丹低速练法）。
那如何才叫高效的练法呢？首先咱们要先来了解，专丹的SRC与DST万人包，对练的原理与意图。
此意图为，泛化SRC的变形适性，以便随时随地的，可以变成任何人（直接合成）。
但泛化变形适性这个特性，却不是只有在专丹这里独有的。大家应该知道前面还有个，预训练的万能丹底！
看到这里的诸位，基础高的是否想到了点什么？？没错，它就是预训练万能丹底时的，随机扭曲开关！！
也就是说，长时间开启过随机扭曲练出来的，预训练万能底丹。已经先天具备了，针对任何SRC的，万能泛化变形适性！！
当使用的是这种，长时间开启过随机扭曲的，预训练底丹。
只需要拿来开启随机扭曲，跑目标的SRC-SRC，即可直接变成此SRC的专丹，无需跑常规的SRC-DST！！！
众所周知，SRC-SRC为最像（自己变自己，这不废话吗）并且迭代需求极少。
此时的丹可直接合成换脸（专丹形态），将无视面部相似度，直接就是SRC的脸（本人只有DF架构）！！
LIAE架构的这样做，是否会彻底摆脱不像SRC的弊病？因为手里没有LIAE的丹，没有测试过。
但理论上LIAE架构的，应该是可以同样，无视面部相似度的（或者是达到LIAE的最高面部相似度）！！


归纳一下重点：
一，预训练底丹，必须跑过相当长时间的，随机扭曲。
二，SRC素材要求全角度，妆容统一，表情丰富，明暗光照度丰富，（这也是专丹SRC素材的基本要求）。
三，在以上两点的支持下，换脸从此不再需要与DST对跑，只需按照以前的SRC-DST流程，跑目标人物的SRC-SRC至完美即可。
四，经过上面的SRC-SRC训练后，即可直接换脸任何人（专丹形态）。
五，无视相似度，直接达到此模型架构下的，最高的面部相似度（SRC-SRC级），脸型的不像，那不属于丹的问题。
六。DST无任何限制，只需要切脸即可直接合成，甚至连遮罩都不用写，合成时遮罩选XSEG-DST，直接用MODEL下的遮罩文件。
    （由于只跑过SRC-SRC，合成用其他遮罩模式，可能会有限制）
七。注意！！！当SRC素材是不完美缺角度的（新手练手级），那么由于缺少相关素材，缺失的角度都是糊的，这并不是丹练法的问题。


测试有一定的局限性，至于是否会有弊端，现在未可知。但此练法拥有极快的复用速度，完美的面部相似度。

dhh520

come3002 发表于 2023-12-20 08:19
感谢分享。马上测试
素材：古力 无刘海主体做src。
训练过程：全程开扭曲对练，

你是怎么去掉她的眉间痣的

WaveBedo

我的计划是，用准备换脸的多个视频，切脸做成dst多人训练集，
在别人好的底丹上，增加dst多人训练集对练，开扭曲将loss降到最低，得到新的底丹，
练专丹的时候，只更换src，dst仍然用之前的dst多人训练集，
就是先把dst练好，希望通过这样的方法来减少，训练不同专丹的时间

不过，我不确定，我这个方法是否能够减少训练的时间，
以及是否能够达到最像src

come3002

26.7.30更新

5年前，凑齐 src 角度较全的 图片素材是 非常非常难的时期。更不用说光影和表情了。经过几周乃至数月训练后，换脸后 微微仰角就糊了，表情木讷 呆滞 等。弃之可惜，此类 作品 比比皆是。
DFl 实质是 图像转换软件。
一种 推测
底单 角度 100分，表情 100分，光影 100分，
SRC 是 角度60分（微微仰角都没有） 表情 60分（表情单一），光影 60分，dst 是樱花关系 各项是 100分，那么 转随机扭曲后，得分 第五列 非常容易得到接近于 角度60分，表情60分（表情单一），光影60分。

想避开 微微仰角就糊了，表情呆滞，就要从 src 素材图片上 做工作。
之前 wx888大佬 很前瞻的 提出 角度100分 表情100分 光影100分的  SRC-SRC 随机扭曲 炼丹法。配合 Ai 工具，很容易 发挥真正实力。

理想状态：
底单 角度 100分，表情 100分，光影 100分，
SRC 是 角度100分 表情 100分，光影 100分，dst 也是 如此，那么 转随机扭曲后，得分 第五列 非常容易得到接近于 角度100分，表情100分，光影100分。

由于 现在 Ai发展非常快，对 SRC电视剧切脸后 所缺少的角度 ，适当运用工具 补角度，补充光影 已经非常非常方便。
这就为 角度100分 表情100分 光影100分的  SRC-SRC(充当dst使用) 随机扭曲 炼丹法 提供了很大的发挥空间。


为修改 DST 脸型参数提供依据。
众所周知，炼制后，需要合适的脸型。但是 跟src 脸型相近的很少，二来 可能很多 身材很哇塞的 脸型却 有较大差别。
好在脸型是可以剪影修改的。适当的修改 让感观更好。
针对一般的玩家 修改时候 无好的对照图，无从下手。我最近实验发现，wx888的 全角度 全表情 全光影的 src-src 随机扭曲，另外一个优势，可以修改 dst 脸型 提供 信息依据。
做法：
准备 训练充分的 src-src （充当dst使用）随机扭曲丹。
足够量的待修订的人脸的 樱花图片。
开随机扭曲，跑 几十 到 几百迭代。
如这张图 第一行 第三个如果是 樱花。那么。发现 第四列 脸型 明显 像src。而 第三列 是dst 高高突起。有非常非常大的区别。
说明什么，说明 可以 用这两个图片 分析，人脸的 差别，换算出 需要 开瘦脸值，开颧骨值。
假定 有 10-20个 这样图片分析。综合一个平均值。

那么好了。把 樱花 导入 剪影，开相应的瘦脸 开颧骨值。会不会 修成了 接近 src的脸型？


无中生无 情景
假定，特别看中的 是 src 没有，而dst有的镜头。该如何解决
举例  非常看重 各类 dst 吃冰棍，而src 没有吃冰棍，无从对比，又如何确定修改参数？
假设：DFl是 图像转换软件。先 Ai 生成 一些 各种角度  吃冰棍的src 图片（Ai 出图 非常快，抽卡 择优等选用），
这个时候把 吃冰棍的src 图 放入 数据图片。 src基础包+带冰棍 -src 基础 +带 冰棍  (充当dst使用)，随机扭曲足够后 ，
dst，转dst 樱花类 吃冰棍。选取 10张以上-20个 求 瘦脸 颧骨 等 参数平均值 。dst 影片导入剪影酌情修改即可。
不方便上传图片。。
如果 是 非常看重 樱花 vr镜头，同理解决。



另外，有个奇特现象，哪怕是刚放入 新的 dst。跑了几个迭代，截图发现立即 大多数的 第五列 就出 清晰人像，特别像src的 人像。
并没有因为i 新假如 dst 没有训练就没有 图像，非常神奇。







=====================================
26.2更新

wx8888大佬 这种DF练法只利用了src-src（src充当了dst）的信息来随机扭曲，是最像src的办法。因而有个特殊用途。找到合适的载体，理论上是可以直接合成的。但是遇到不太像的脸型就非常麻烦。
而大多数坛友在训练时候是用的杂图或杂樱花法（混杂了各种脸型，甚至各种遮挡等）。其结果可想而知。大多数不合适 使用效率低。

如何 用这个 src-src 随机扭曲丹主丹 model A，直接换脸？
复现多次后。我发现一种折中快速办法。

第一步 边练随机扭曲主丹边找合适的dst。
方法有多种。很简单的办法，待筛选的 dst 平板截图 切脸比如1000张 （100部樱花）。预实验。
随机扭曲主丹 model A。关闭随机扭曲，dst换成截屏获得的-1000张樱花dst（100部樱花），跑一会。
预览图里 刷新，观察几列的图像，记录好的编号。1000张 （100部樱花）。比如留下了10部极好，20部较好的。都记录好备用
第二步 择优换脸。
10部精选的极好的进行 切脸和 换脸。优先去换脸。之后再考虑20部较好的。
发现一些角度不足，就及时补充src角度，发现光影不足就补充光影，发现表情不足就补充src表情，其他以此类推。
优点。src-src 随机扭曲对联丹，炼制过程极为简单，没有繁琐的步骤；其次在随机扭曲训练的过程就能把 手头积攒的樱花进行甄别，把不合适该src的ds脸型剔除，把极像的dst的快速提取出来，大大降低了时间消耗；第三 通过 择优换脸，能获得一定的初级的作品。可以不够精细但是作品有了。第四 ，能早发现 src的缺失的部分，早早的补充上。
假如 张天仙的筛选完了。再换成 刘天仙 src-src 随机扭曲对联。边训练边合成，边补充src，重复上述过程即可。
存在问题。该DF办法由src-src 随机扭曲丹 由国内的电视剧为主截取的src提供了表情，提供了角度 光影，相对有限，而新樱花可能在表情 在光影 在角度上则极为丰富。
故刚开始阶段可能合成的初级作品不够精细。随着src在这几个方面不断丰富。作品会越来越好。

这种脸型算合格 ，可以进入初选备选


这种脸型 明显差别太大了。记下编号后又开了一会 随机扭曲发现改善不大。建议 不列入 张天仙的dst初选。属于淘汰。







=================================
感谢分享。马上测试
素材：古力 无刘海主体做src。
训练过程：全程开扭曲对练，
状态：还在训练中
预览图嘴唇纹理出来就备份测试

4k 中远景测试
左边原图（随便找了一张图 平板截屏，这个图是来自网络新剧，避免干扰）
该备份model，零训练直接合成。开W，E。T

结果：
如下图


放大看细节看嘴唇纹理也能看清。
并且跟原版嘴唇大小也不一样，更像古力特征。



由于还在训练中，很多细节需要逐步完善。比如进一步考虑优化眼神包等。
结论：该备份虽然才几天时间，已经看到看比较多的古力特征， 比较满意

若苗瞬

应该会很像src，但表情等细微部分不太像dst吧。。。
谁有条件，可以对比试试。

helas

很早之前我试过，合成效果一般

长大后才知道

helas 发表于 2023-12-20 09:19
很早之前我试过，合成效果一般

同样，论坛里很早就有人说过了。我也试了  导出DFM效果真的很差

JEEP2023

大圣总结的经验一定是经过实战的，准备测试

qq651796637

积极发言我最在行

WaveBedo

之前听你说有新的练法，就很期待！
想不到这么快就分享出来了，确实是很大公无私，感谢！

先去吃点东西，再回来拜读！

Deannnn

这不就是对练么