Hallo最新的开源数字人，音频驱动的音唇同步

tf18536 · 发表于 2024-6-26 17:34:33

星级打分

平均分:NAN 参与人数:0 我的评分:未评

本帖最后由 tf18536 于 2024-6-26 17:40 编辑

https://cdn.aondata.work/video/short_movie/%E6%97%A0%E9%97%B4%E9%81%93-480p.mp4

https://cdn.aondata.work/video/short_movie/Devil_Wears_Prada-480p.mp4

一张照片+一段音频即可生成数字人
github上最新的开源数字人项目Hallo，之前玩了几个唇形同步的数字人sadtalk、dreamtalk、wav2lip，musetalk，都差强人意，这个应该是开源里面效果最好的了，推荐给大家。
搭配ChatTTS，RVC，可玩性还是可以。
附安装说明、项目文件和模型，模型文件有10个G，
项目官网：https://github.com/fudan-generative-vision/hallo，原下载模型要在huggingface下载

用我一辈子 · 发表于 2024-6-26 18:16:24

是不是生成十几秒的视频就要几个小时那种

zhulashi · 发表于 2024-6-26 23:44:24

主要是担心生成时间太久，楼上阿哥说的对，几秒视频就要几个小时

ciynet · 发表于 2024-6-27 08:25:07

啥玩意同步？

tf18536 · 发表于 2024-6-27 12:00:45

本帖最后由 tf18536 于 2024-7-3 11:34 编辑

zhulashi 发表于 2024-6-26 23:44
主要是担心生成时间太久，楼上阿哥说的对，几秒视频就要几个小时 ...

测了一下，依赖显卡性能，20秒视频用2080大约40分钟，A6000大约20多分钟

yersamdy · 发表于 2024-7-1 09:22:48

预览都是半身的，有全身的吗？

wosildj · 发表于 2024-7-3 10:50:59

没弄成集成包，好复杂。也没有可视话操作界面

tf18536 · 发表于 2024-7-3 11:09:55

wosildj 发表于 2024-7-3 10:50
没弄成集成包，好复杂。也没有可视话操作界面

有基于ComfyUI的可视化hallo
项目地址：https://github.com/AIFSH/ComfyUI-Hallo?tab=readme-ov-file
教程地址：

wosildj · 发表于 2024-7-4 11:14:31

在版主发的ComfyUI环境下怎么安装呢

		自动登录	找回密码
密码			立即注册（仅限QQ邮箱）