专丹及换脸的新练法

lxx1974

我小白，一直搞不懂传说中的SRC-SRC怎么练？论坛里也没有人说方法，是不是把SRC的图片丢到DST文件夹中，然后启动训练？

毕加索

这个 我其实试过，不过当时我用的底丹太差，才叠100w代，我把它练到400w，效果很一般，当时还是萌新，很多都在摸索

后来在论坛找到1290w的丹，然后这个就被我停下了。。。然后再没这样用过

wtxx8888

lxx1974 发表于 2023-12-20 18:21
我小白，一直搞不懂传说中的SRC-SRC怎么练？论坛里也没有人说方法，是不是把SRC的图片丢到DST文件夹中，然 ...

SRC与DST的图一样，就叫SRC-SRC

wtxx8888

毕加索 发表于 2023-12-20 20:29
这个 我其实试过，不过当时我用的底丹太差，才叠100w代，我把它练到400w，效果很一般，当时还是萌新，很多 ...

能发出来的丹，大多数是残次品。自己想想都知道会是什么货色

walkman2

好的，试一试是否可行

come3002

WaveBedo 发表于 2023-12-20 17:02
我的计划是，用准备换脸的多个视频，切脸做成dst多人训练集，
在别人好的底丹上，增加dst多人训练集对练， ...

我的计划是，用准备换脸的多个视频，切脸做成dst多人训练集， 在别人好的底丹上，增加dst多人训练集对练，开扭曲将loss降到最低，得到新的底丹， 练专丹的时候，只更换src，dst仍然用之前的dst多人训练集， 就是先把dst练好，希望通过这样的方法来减少，训练不同专丹的时间 不过，我不确定，我这个方法是否能够减少训练的时间， 以及是否能够达到最像src

楼主大佬的思路是
1. 理论上 底单极致的对DST的随机扭曲
2. 理论上  全光影 全角度（90-95% mve/刀哥 1.0 格子 ） 喜怒哀乐 全表情 妆容一致的如张三 src
3.  SRC和DST放同一份张三SRC资源 ，开随机扭曲训练。强化张三 SRC的信息比例。

你的思路可能跟楼主大佬的刚好相反了。强化了DST的信息比例。

一般的玩家，有个折中的速成办法
1考虑既强化 SRC，也强化 DST多人训练集。从而加快训练速度。

WaveBedo

come3002 发表于 2024-1-6 13:54
楼主大佬的思路是
1. 理论上 底单极致的对DST的随机扭曲
2. 理论上  全光影 全角度（90-95% mve/刀哥 ...

我看其他人的意见，很大一部分都没有使用src对练的，我觉得有点道理
以下是我猜测的，我没有任何根据

大角度的时候，假如src缺少这个角度，src对练的话，效果应该不会很多好，
同样的情况，假如是src与dst多人训练集对练，
dst里有这个大角度的素材，那应该可以指导src变形，稍微补偿缺少角度的情况

come3002

WaveBedo 发表于 2024-1-7 03:59
我看其他人的意见，很大一部分都没有使用src对练的，我觉得有点道理
以下是我猜测的，我没有任何根据

归纳一下重点：
一，预训练底丹，必须跑过相当长时间的，随机扭曲。
二，SRC素材要求全角度
======================
楼主的第二条已经写明了。楼主的办法的基础是 角度全角度。为梦版主的那种。
而能凑齐src全角度 全光影的 坛友太少了。所以有局限有门槛。

故：一般玩家即可以灵活运用。结合了楼主的理想情况，和你的实际情况
你的提及的 大仰角 。可以用类似脸型的 （src林志玲缺仰角vs 就找波老师dst仰角替代。 dst复制到SRC中。波老师仰角冒充 src vs 波老师仰角dst 对练一会；以弥补src仰角某些角度的匮乏。训练一会等。预览图该缺的仰角出轮廓/有改善，感觉差不多就停。删掉 src中的波老师 即可 。选的脸型跟你 越接近越好。比如我试过用 王楚然的仰角替代 刘天仙的 05年的 刘天仙的年轻时候的仰角感觉就很好，可以多加。如果感觉有一些明显差别，则数量不可太多。会污染model）
楼主的用法出的是比较细节的东西。比如林志玲 /刘天仙 src持续降不下来，嘴唇纹理啊，睫毛啊细节不容易出，精选一部分各种角度细节好的素材。 /林志玲 刘天仙src复制到DST中对练。有助于 林志玲 /刘天仙 等一些细节素材 src loss的 下降。
实测，对加快出 眉毛，嘴唇纹理啊等细节有帮助。

WaveBedo

come3002 发表于 2024-1-7 07:05
归纳一下重点：
一，预训练底丹，必须跑过相当长时间的，随机扭曲。
二，SRC素材要求全角度

src对练，对于提高相似度、清晰度应该是有帮助的，因为它素材比较单一，目标明确。
但考虑到融合的问题，还是需要多点跟不同的dst对练。

另外，我看到一个坛友的做法，他是直接复制一份src到dst里，然后dst是多人训练集
也就是他是src跟（src加dst多人训练集）对练，
到最清晰的时候，将dst多人训练集删掉，
剩下src跟src对练，
我觉得他这个方法，应该是比较完善的

come3002

WaveBedo 发表于 2024-1-7 13:17
src对练，对于提高相似度、清晰度应该是有帮助的，因为它素材比较单一，目标明确。
但考虑到融合的问题， ...

你说的这个坛友的办法实质是以底单优势/DST优势补充src不足。
说明的本质是 他手里的底单非常棒，DST训练集非常棒。非常适合，直接训练一段时间就合成。
这种练法有个巨大隐患。这涉及到一个现象，dfl有种 遇强则强，遇弱则弱的现象。

但是如果SRC 画质很一般，或src角度不是全角度 部分角度合成就是糊的，或src不是全光影，或表情不够丰富等。遇到再好的底单练练也会变差。
并可能开始阶段是隐藏的。然而非常不容易发现
等炼制一个专丹时候，src隐患问题依然存在，训练几百万去测试发现表情不对，素材质量一般，总是不出细节等问题，时候已经晚了。
需要补充优质的src，去覆写原有模糊一般质量的信息。参数越高，之前炼制迭代越久，牵扯参数多，覆写难度越大。
死磕迭代，底单被污染次要的，达不到想要效果白白浪费了青春，太可惜了。
这个时候很需要一面照妖镜。

另一种构思模式就是楼主大佬的思路。上来素材只用高质量的SRC。

理论上，当一份 全角度 全光影 各种表情 的全脸高质量刘天仙src凑齐（），再复制到刘天仙dst里，找一个 非常不错的小分辨率df格式随机扭曲底丹，开随机扭曲等参数之后。
训练所用的迭代会远远少于 刘天仙vs各种全光影 全角度的数据集杂图DST。
并且这个办法更像照妖镜，
理论上，只用的SRC复制一份DST，小分辨率模型，这样一边训练一边检测，成像快，能较早发现 src的优点，也能尽快发现src的不足。 练手使用，练废了也不心疼。
一边训练一边找舞蹈/等各种镜头去检测。

举例：若合成某些特别重要的镜头发现光影不协调。把该DST镜头找到，分析是什么光影，再去看src是不是缺该方面的光影，再Ai 去补充类似的光影。补上后再训练一段时间。之后检测该镜头光影有没有改善。其他问题以此类推。

不断发现问题，可以一边强化高质量src。
当凑够足够全角度，全光影，各种表情的一套高质量SRC，再换高分辨率高参的df 随机扭曲底单模型。跑就完事了。

楼主大佬没有效果图，借用一位坛友的liae炼制过程来解释。

liae模型 对练 开随机扭曲效果
我发现有位坛友试过。
坛友q635809224  
底丹：用的论坛里删除AB文件的底丹。
关于素材：坛友q635809224  自拍的，src 和 dst 的素材，WF1024是一模一样的，都是我自己，跟论坛前辈学习的方法，也是一个实验
全程ct_mode：none，
随机扭曲开到50多万次
»【专丹实验】分享自己的liae模型阶段性成果

1080p 中景。
左边是DST，右边是50w随机扭曲效果。
扭曲后的对练丹，左边嘴巴是歪的，但是右边是正常的。效果更美，更像src


细节看。意外发现，已经扭曲出了较好的睫毛。



结果：只开随机扭曲，对练。零训练直接合成，效果很像src，细节上也扭曲出较好的睫毛等细节。
（注：坛友用的是删除过AB 底单开始练的，或许跟df 对练效果 有某些其他意想不到的变化）