RTM万能模型, 没有DST, 只更换SRC, 如何实现?

rico

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

请教, 购买的滚石的LIAE结构的迪丽热巴万能模型, 因为滚石大佬只提供了模型文件, 没有提供DST和SRC数据集.
现在想更换 SRC, 自备了SRC数据集
但是没有DST随机人脸数据集,
如果data_dst让它一直空着, 用购买的万能模型直接训练生成另一个人(SRC),是否可行?

come3002

rico 发表于 2023-7-3 16:16
原来如此,  万分感谢 ! 这就开始对练 .

玩dfl换脸一般顺序
第一阶段：用论坛神丹，论坛SRC，自己的樱花国、国内舞蹈DST。几个小时训练。换脸。（不再复用）
主要是了解dfl基本步骤。
第二阶段：用论坛神丹。自己切WF512、1024（1080、4k电视剧）自己的樱花国、国内舞蹈DST。几个小时训练。换脸。（不再复用）
主要是掌握人脸切割技巧方法。
第三阶段：尝试用自己切的SRC、DST。尝试在神丹基础上转做某女明星的专丹。
SRC人脸筛查工具、补角度工具。仰角补充、表情僵硬补充、牙齿等素材问题。
第四阶段：尝试做多能丹。比如我的 东方女性底丹。搜集一切可以搜集的数据集筛选需要的东方年轻人脸。东方人脸高清图像，下牙齿图片。炼一段时间后并下载论坛40几个专丹逐帧做对比。多看 光影、看 下牙齿、等细节处理，取长补短。
每问题后转一个专丹比如我转了一个古力专丹（103w自用未上传）继续优化。

【6.11 高质量底丹】320 8Gdf-ud 纯东方女性WF1024主素材炼制
https://dfldata.cc/forum.php?mod=viewthread&tid=14529&page=6#pid415365

第五阶段：尝试做万能丹。


对于专丹不同人有不同的要求，也自然有不同的专丹练法，也没有固定的参数。
dfl实质是图片转换软件。我自用dfud，所以做法跟别人不一样。供你参考
第一：准备做某东方女性换脸dfud专丹用的SRC。
按角度图来准备，并进行对联。
在神丹基础上对炼是把某东方女性既做SRC也做DST，让软件人脸A学人脸A自己，不仅学的快，还不会导致 DST其他欧美男性啊，老人啊写入model污染model
第二，宁缺毋滥
初步训练，我的图片wf1024也是逐一查看保存最优秀的图。保留我认为可以的少量图片，保证清晰度。
第三，循环学习，
比如先放1024的 1/5做A，在加1/5B也就是已经有A的底子，AB就会更快。 AB差不多了，再放1/5 C。。。
第四，查漏补缺
不断的合成测试，bed、浴室等1080p常见场景，如光影不足就补光影，角度不够就补角度，嘴巴没张大，就补嘴巴张大。比如眼神不对，就找抬头低头逐帧保留（略微模糊也保留））
第五，重视下牙齿。
丹练得差不多了，单独挑选下牙齿单独练。
比如牙齿放最清晰最大的下牙，有好的底子

再放微微露头，数量多。
再放略微模糊。

最后在全图，通跑一遍，让数据稳定（这个我仅完成了古力。其他明星专丹 下牙齿我几乎放弃了，太难了）。
第六，对比学习
做好后，把专丹（古力）103w.跟论坛40个下载专丹做bed、浴室等实战进一步测试对比，取长补短再次优化。
不满意继续重复上面步骤

come3002

rico 发表于 2023-7-4 12:44
太感谢了 !!!
论坛教程偏理论,看得云里雾里, 知其然不知其所以然.
还是您说的方法一针见血, 醍醐灌顶, 茅 ...

你要炼liae 模型。我有一点点建议。
我做古力专丹，分三个阶段。、
第一阶段 模仿别人参数，自己电脑8g显卡 长期用自闭2.0 256 跑各明星WF1024，最后跑了10个专丹。精选做古力WF1024.  跑10w就停备份，合成1080作品对比别人的自闭专丹，再跑20w。之后再跑到30w迭代。反复打磨素材，甚至尝试合成4k 。、
第二阶段，远程高显存 炼丹 炼了 320 底丹转古力，有了之前基础，相对就较顺利。这个时候合成作品从4k 看虚影，看光效。、、
第三阶段，炼384 丹，筹备中

因此，建议准备三套。1套224liae 就是预实验练手用。1套288liae，就是打磨细节用。
1套 你的 8g显存 用论坛的224liae，WF1024为素材， 炼10w备份，20w，30w，一个明星做一个专丹，做完一个再做一个。。。一直做10个专丹。真正掌握很多程序参数，并把你做的最优秀的专丹反复跟论坛的liae224丹对比。
把别人丹的优点挖掘出来。反正你自己电脑，几天一个专丹跟玩一样。跑废了不心疼。、、

2套  远程  租算力，炼丹一套288liae 底丹，并转一个 专丹，。少炼，多反思，还是反复对比。把细节用放大的方法来研究。

3套。最后，尝试炼一套384liae

rico

补充一下,  打算用在live上,  做个特定SRC的万能模型,  就是任何人都可以用这个模型, 换脸出来的是输入的SRC的人脸.

rico

davio 发表于 2023-7-3 14:43
那你就自行准备一套直播用的DST

如果DST自己准备,  SRC自己准备, 购买RTM万能丹的意义何在 ?

seancai110

rico 发表于 2023-7-3 15:07
如果DST自己准备,  SRC自己准备, 购买RTM万能丹的意义何在 ?

万能丹是出效果快。
其实src和dst都用一个人来对练，也不是不可以。这样出效果还快。dst会影响src网络出效果的速度。
其实之前炼丹的时候，各种人脸信息已经输入进模型了，练专丹就直接对练就行了。

rico

seancai110 发表于 2023-7-3 15:34
万能丹是出效果快。
其实src和dst都用一个人来对练，也不是不可以。这样出效果还快。dst会影响src网络出 ...

原来如此,  万分感谢 ! 这就开始对练 .

x777

come3002 发表于 2023-7-3 16:20
玩dfl换脸一般顺序
第一阶段：用论坛神丹，论坛SRC，自己的樱花国、国内舞蹈DST。几个小时训练。换脸。（ ...

很详细。

come3002

rico 发表于 2023-7-3 16:16
原来如此,  万分感谢 ! 这就开始对练 .

最重要要及时备份，10w，20w，30w等。跟论坛的神丹、专丹做逐帧对比（才30w跑废了也不心疼）。
尤其4K DST 零训练，对比测试比1080p细节看的更精确。
如果有的专丹 牙齿比我的好（说明我要补古力牙齿）， 有的 仰角好（说明要补一定大仰角）、有的专丹灰暗特别真（说明要找古力灰暗的镜头），还有的大嘴巴哭戏绝了（说明要找 古力大嘴巴哭戏镜头）........
把这些问题在早期逐一优化。剩下就好说了。
等跑玩200w再发现问题，想改就麻烦了。

ccctttccct

不需要src，不需要训练，需要dst图，直接合成