deepfacelab中文网

 找回密码
 立即注册(仅限QQ邮箱)
查看: 1084|回复: 10

是一个强大且高效的AI对嘴型工具

[复制链接]

5

主题

48

帖子

851

积分

高级丹师

Rank: 5Rank: 5

积分
851
 楼主| 发表于 2024-7-19 17:49:54 | 显示全部楼层 |阅读模式
购买主题 已有 6 人购买  本主题需向作者支付 30 灵石 才能浏览
回复

使用道具 举报

5

主题

48

帖子

851

积分

高级丹师

Rank: 5Rank: 5

积分
851
 楼主| 发表于 2024-7-21 19:37:03 | 显示全部楼层
lyrf12 发表于 2024-7-19 21:49
请问是整合包吗?多大?

6.7G 现在我放了教程和整合包。下载即用
回复 支持 1 反对 0

使用道具 举报

5

主题

48

帖子

851

积分

高级丹师

Rank: 5Rank: 5

积分
851
 楼主| 发表于 2024-7-19 17:54:07 | 显示全部楼层
本帖最后由 qq85148688 于 2024-7-21 19:34 编辑

老规矩,我搬运的。水灵石的。软件需要翻墙才可以下载,如果有需要我可以下载下来放到百度网盘上。

这是一个将可以将视频以及语音对准口型的开源项目。很强大

image.png



文生图技术已经非常成熟、文本到语音,语音到文本技术也很成熟。

ChatGPT文本对话又如此丝滑

那么人工智能让数字人说话,唯一的技术难点,也是目前的关键技术,就是AI对口型。

如果AI能对口型,那么GPT生成式对话,然后加上文生图,可以做出很不错的数字人。


腾讯开源的VideoReTalking项目是一个强大且高效的AI对嘴型工具。该项目由西安电子科技大学、腾讯人工智能实验室和清华大学联合开发,其主要目的是通过输入一个视频和一个音频文件,生成一个新的视频,其中人物的嘴型会与音频同步,从而呈现出更为逼真和自然的对话效果。

VideoReTalking项目的实现过程主要可以分为三个步骤:

面部视频生成:系统首先使用表情编辑网络来修改每一帧的表情,使其与一个标准表情模板相符,从而生成一个具有标准表情的视频。

音频驱动的嘴型同步:然后,这个视频和给定的音频一起被输入到嘴型同步网络中。该网络能够学习音频信号与嘴型运动之间的关联,从而生成一个嘴型与音频同步的视频。

面部增强:最后,系统通过身份感知的面部增强网络和后处理来进一步提高合成面部的真实性。这包括优化皮肤的纹理、光照和阴影等细节,使得生成的视频看起来更加自然和逼真。

VideoReTalking项目的优点在于其自动化和高效性。整个过程不需要用户进行复杂的干预或调整,只需简单地输入视频和音频文件,系统就能自动完成嘴型同步和面部增强的任务。此外,由于该项目采用了先进的深度学习技术,因此能够处理各种复杂的音频和视频信号,生成高质量的同步视频。

总的来说,腾讯开源的VideoReTalking项目为视频编辑和语音合成领域带来了新的可能性,使得人们能够更加方便地生成逼真、自然的对话视频。

教程:
下载地址: https://pan.baidu.com/s/1rby_PDf9rxX9boVrQMgBfQ?pwd=tnfr

image.png image.png

回复 支持 反对

使用道具 举报

4

主题

58

帖子

1814

积分

初级丹圣

Rank: 8Rank: 8

积分
1814
发表于 2024-7-19 21:49:07 | 显示全部楼层
qq85148688 发表于 2024-7-19 17:54
老规矩,我搬运的。水灵石的。软件需要翻墙才可以下载,如果有需要我可以下载下来放到百度网盘上。

这是 ...

请问是整合包吗?多大?
回复 支持 反对

使用道具 举报

5

主题

48

帖子

851

积分

高级丹师

Rank: 5Rank: 5

积分
851
 楼主| 发表于 2024-7-19 22:19:39 | 显示全部楼层
lyrf12 发表于 2024-7-19 21:49
请问是整合包吗?多大?

不是整合包,源码
回复 支持 反对

使用道具 举报

5

主题

42

帖子

1206

积分

初级丹圣

Rank: 8Rank: 8

积分
1206
发表于 2024-7-20 03:55:11 | 显示全部楼层
是软件么?能直接使用吗?
回复 支持 反对

使用道具 举报

2

主题

145

帖子

973

积分

高级丹师

Rank: 5Rank: 5

积分
973
发表于 2024-7-20 08:32:00 | 显示全部楼层
qq85148688 发表于 2024-7-19 17:54
老规矩,我搬运的。水灵石的。软件需要翻墙才可以下载,如果有需要我可以下载下来放到百度网盘上。

这是 ...

这个是用来直播的吗?你有具体的教程视频吗?
回复 支持 反对

使用道具 举报

5

主题

48

帖子

851

积分

高级丹师

Rank: 5Rank: 5

积分
851
 楼主| 发表于 2024-7-20 15:10:55 | 显示全部楼层
Nhatorder 发表于 2024-7-20 08:32
这个是用来直播的吗?你有具体的教程视频吗?

不是直播的,暂时没有教程
回复 支持 反对

使用道具 举报

8

主题

182

帖子

1015

积分

初级丹圣

squeeze

Rank: 8Rank: 8

积分
1015

万事如意节日勋章

发表于 2024-7-21 04:22:16 | 显示全部楼层
兄弟什么都不发,没有教程没有整合也不知道怎么运行纯搬运收30,牛逼
一切随缘就好
回复 支持 反对

使用道具 举报

5

主题

48

帖子

851

积分

高级丹师

Rank: 5Rank: 5

积分
851
 楼主| 发表于 2024-7-21 19:35:42 | 显示全部楼层
sdlou 发表于 2024-7-21 04:22
兄弟什么都不发,没有教程没有整合也不知道怎么运行纯搬运收30,牛逼

所以我说的很清楚是源码,现在我放了教程和整合包。下载即用
回复 支持 反对

使用道具 举报

QQ|Archiver|手机版|deepfacelab中文网 |网站地图

GMT+8, 2024-11-23 18:08 , Processed in 0.163588 second(s), 41 queries .

Powered by Discuz! X3.4

Copyright © 2001-2020, Tencent Cloud.

快速回复 返回顶部 返回列表