一个新手小白的炼丹之路（新手上路礼包:含Xseg模型、底丹...

JohnnyGm

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

这是我接触DFL的第三天，说实话一开始只是因为使用deep face live 换脸没有模型想自己练开始接触的。从一无所知到略知一二再到独立炼丹还是走了很多弯路所以特开一贴把自己的经验和收集的一些素材分享给大家。

1、下载软件（Deep face lab）:个人建议去论坛里导航页上点软件下载-精华贴最后一个最新软件下-点击进入帖子。里面是大佬汉化并制作了UI界面的版本对新手很友好。当然如果训练模型时出现了类似No training data provide的错误，不要犹豫换一个版本去github官网下也可以，问就是走过弯路耽误了半天时间。


2、软件操作其实并不复杂，就是把准备好目标视频及换脸素材（ps:视频或更多图片组成的图片集）。放到指定位置如C:/Dfl/workspace里，保存为指定名称既data_src.mp4（换脸素材） 和data_dst.mp4(目标视频)。然后按步骤进行操作就行，具体可以参考论坛里的教程-点击进入帖子。

3、掌握了前面的技巧肯定需要两个东西一个是万能 xseg 的模型，用于提高我们的合成质量。说白了合成的时候如果脸上被手、头发、以及其它物品挡住了。如果不套用遮罩就会把脸印在物品上面降低合成质量。所以论坛里有镇馆之宝目前迭代了2200万次的万能xseg模型，但是想要获得需要500灵石或者手工画100张遮罩图提供给大佬继续优化模型。-点击进入帖子
由于我进入论坛时间不长，并没有获得。但是我也知道新手上路很不容易，所以在这里给大家准备了一个之前找到的迭代1400万次的xseg模型 原作者为CXSMO,质量可能没有镇坛之宝好。但大家可以先用来过度！

4、除了遮罩模型，如果想要合成视频还需炼制人物模型。如果重头炼制一个比较有质量的模型至少需要十几小时甚至几天以及大量的人脸素材。如果想要减少这个过程就需要用到底丹，也就是别人炼制好的模型。我们接着加入我们想要炼制的素材进行炼制，好的底丹几分钟就能有不错的效果。论坛里也有一些大佬的分享在这个地方-点击进入帖子
当然底丹基本上都是用不同的人脸练成的，如果想要特定的人脸就需要相应专丹或者自行炼制。在礼包里为大家准备了景甜的专丹迭代180w次，以及官方的faceset.pak（即人脸集用于炼丹使用。）

5、有了上述这些东西，我相信对大家进行学习练习会有一定的帮助。在这里还有一个用上面模型炼的景甜直播丹一起分享给大家。

最后还有一个问题希望能有大佬解答，就是炼制直播模型的时候怎么应用xseg让模型效果更好。最好能达到带眼镜、吃东西、捏脸都不会变形的程度。希望大佬指点迷津，只要有用我当下全部积分答谢！

wtxx8888

直播丹的遮罩，取决于炼丹前，写入DST的遮罩。
即直播丹成品的遮罩能力，取决于炼丹时用的，写入过遮罩的DST图片量。
一般最少也得是5万张的DST图片量（一般是用数据集，最少的5万，多的20多万，理论是越多越好无上限，看你显卡能力。）。
训练时写入过遮罩的DST量越多，直播丹的遮罩能力越强
听说VtubeKit可以调取遮罩文件用于直播，但这个软基本没人用，你看看各相关论坛就知道，几乎没人讨论它。

jinyuan37

wtxx8888 发表于 2024-3-2 00:18
直播丹的遮罩，取决于炼丹前，写入DST的遮罩。
即直播丹成品的遮罩能力，取决于炼丹时用的，写入过遮罩的DS ...

最主要是这软件收费，实际效果还是不错的。

DFLive

jinyuan37 发表于 2024-3-2 12:44
最主要是这软件收费，实际效果还是不错的。

效果还可以，但经常崩溃。

wtxx8888

jinyuan37 发表于 2024-3-2 12:44
最主要是这软件收费，实际效果还是不错的。

VtubeKit在坛里的测试过，所谓的单次迭代快，不过是建立在恒定BS4上，用它我可以开到BS200的参数，实际还是BS4在跑。
原版我可以开BS8的丹，同丹它开BS8还是BS4的实际效果总结就一垃圾。

jinyuan37

wtxx8888 发表于 2024-3-2 16:18
VtubeKit在坛里的测试过，所谓的单次迭代快，不过是建立在恒定BS4上，用它我可以开到BS200的参数，实际还 ...

这软件不都是用来直播吗

JohnnyGm

wtxx8888 发表于 2024-3-2 00:18
直播丹的遮罩，取决于炼丹前，写入DST的遮罩。
即直播丹成品的遮罩能力，取决于炼丹时用的，写入过遮罩的DS ...

感谢大佬回复，那是不是说提升炼丹前遮罩写入dst就行了，不需要用写入src。同时dst可以直接用人脸集来练，这样可以增加遮罩的多样性。让直播模型有更好的效果，其实我这所以问这个问题就是之前在B站看见有人展示过，用的就是deepfacelive 不管捏脸还是戴眼镜吃东西都看不出来。所以也想自己练一个试试。感谢大佬

wtxx8888

JohnnyGm 发表于 2024-3-3 11:33
感谢大佬回复，那是不是说提升炼丹前遮罩写入dst就行了，不需要用写入src。同时dst可以直接用人脸集来练 ...

SRC也要写入，不然系统默认的遮罩，没有额头部分。
直播丹的遮罩能力，完全取决于训练时，写入过遮罩的DST图。
所以DST图量越多，直播丹遮罩的精度与泛化适性越强，一般DST最低也得5万张，无上限越多越好。

amani153

所以大佬你是接触DFL三天就能写心得啦？