[分享] 在deepfacelive变脸前增加美颜功能

tgyoyo

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

因为脸型问题，需要美颜功能增加相似性的感觉，
先是找了一些帖子有没有人改过，
发现之前有VtubeKi，但t不免费了，B站好像还有人修改变卖，所以算是都找不到资源，

虽然之后看了一些人分享，可以用YY开播开美颜，再到deepfacelive中使用YY后的结果，
但是我发现YY开播好像只有特定分辨率才能喂给deepfacelive，相容性不是太好，
所以周末利用了一点时间，在AI的帮忙下，在deepfacelive里面加入简单的美颜功能




目前只支援N卡，
还有性能上还有很大的优化空间，
不过因为目前在训练模型跟处理其他项目，
暂时必须搁置，欢迎有兴趣的大佬继续接手

使用方法:
1. 下载附件后，在路径 _internal\DeepFaceLive\apps\DeepFaceLive解压覆盖
2. 叫出命令行，移动路径到DeepFaceLive_NVIDIA\_internal\python目录 (cd X:\XXX\XXX\DeepFaceLive_NVIDIA\_internal\python)
使用指令安装依赖包 python.exe -m pip install cupy-cuda11x
3. 遮罩功能是参考ROPE做的，需要在userdata下新增occlusion_models目录，并放入遮罩模型XSeg_model.onnx跟occluder.onnx
3.1 XSeg_model模型链结 https://huggingface.co/OwlMaster ... d72/XSeg_model.onnx
3.2 occluder模型链结 https://huggingface.co/OwlMaster ... /main/occluder.onnx

tgyoyo

xyqttacr 发表于 2024-12-14 17:26
大佬 能添加实时遮罩的功能吗

我这阵子是在用实时遮罩，目前参考ROPE做好了，正在优化中

小飞侠

大佬，还有一个问题就是，我每次一调整参数，那个合成后的画面窗口就在任务栏那里了，有没有方法让output窗口置顶，这样方便查看合成后的画面参数对比

小飞侠

这个脸部美颜窗口帧率太低了，1帧左右，这个可以优化一下吗

tgyoyo

小飞侠 发表于 2024-12-2 14:24
这个脸部美颜窗口帧率太低了，1帧左右，这个可以优化一下吗

这一两天有时间我会优化看看

狗蛋

大老牛逼

459717439

基本上用不了，很卡

穿靴子的猫

添加上功能之后使用就是1帧

tgyoyo

新增优化，1080p可以在30帧左右，需要安装依赖库，请见一楼

仅改动FaceBeautifier.py，使用cuda加速 (路径为DeepFaceLive_NVIDIA\_internal\DeepFaceLive\apps\DeepFaceLive\backend)

Cxsmo

tgyoyo 发表于 2024-12-2 14:34
这一两天有时间我会优化看看

Does this work with dx12 and would it be possible to add xseg support