VtubeKit -换脸换声换背景-20231025新版本

pubzoner

星级打分

• 1
• 2
• 3
• 4
• 5

平均分:NAN  参与人数:0  我的评分:未评

VtubeKit 基本介绍在上一次内测版本发布的时候有介绍。  【VtubeKit 】Deepfacelab+live的一体化图形界面版)-【DFL】软件下载-deepfacelab中文网 - Powered by Discuz! (dfldata.cc)
目前已经更新到新版V231025


【整体改动】
1. 对Cuda和CUDNN版本进行了更新，新软件包集成了全部的Cuda文件，用户无需安装Cuda。 只需要nvidia显卡驱动支持Cuda 11.6版本以上
2. 增加启动器，内置教程分享
3. 修订了若干出现错误闪退的问题



【Live直播器】
1. 摄像头列表显示摄像头名称，不再只是显示编号
2. 丰富了人脸脸型调整调整选项，包括颧骨、脸颊、下颌、下巴、嘴巴大小、眼距的调整
3. 可以修改实时遮罩的目录了，遮罩目录更改为根目录下的XSegModels
4.增加了换脸后图像超分辨选项（半精度推理），对于质量不足的模型，可作为提高清晰度的选项
2.增加可背景替换和RVC换声模型支持。


【人脸采集/切脸/编辑（lab)  】
1. 切脸速度提升大约2倍左右。 4K分辨率视频提取速度大约为5帧/秒（包含检测、身份筛选、遮罩写入、人脸角度计算全部过程一次完成）
2. 修复添加不同大小参考人脸时出错的bug
3. 增强了XSegEditor的功能（包括从Xseg遮罩生成可编辑线条，加快手动修改XSeg模型提取错误的遮罩）
4.新增遮罩外背景擦除功能
5.新增遮挡物添加自动生成、手动调整功能
6.全新的遮罩预览界面和图片删除方式






【模型训练（lab)  】
训练速度比原版有明显提高，在参数高的模型上单次迭代时间可以缩短到原版的一半。

（一）模型训练：
  1. 图形化的训练界面，创建新模型或者加载已有模型训练，直接选路径就可以了
  2.读取模型参数并显示
  3. 开始训练模型前不用再一遍又一遍的输入参数了，点选参数后直接运行训练就可以了
  4. 增加了学习率、损失函数中结构相似性、像素值差异，以及嘴眼优先等超参数的调节
  5.素材加载增加了是否加载子目录的选择
  6. 训练画面预览（全部采用5列预览图的布局，包括256以上的模型，训练大模型的时候也可以预览多列了）
7。新增了效果测试。以往训练的时候只能看到训练集图片的预测结果。trainer 可以在训练的过程中直接测试真实环境中的图片换脸效果。
    素材可以是图片，也可以实时截屏。而且效果是merge之后的效果，分3列显示
  8.定期对loss比较高的素材多增加次数
  9. 训练单次迭代时间优化

（二）模型保护：
（1）dfm直播模型可以转换为vtfm模型，可以采用密码保护，或者采用单机密码 机器码的形式保护。

模型训练演示视频：

1. 
   

复制代码