Wan2.1 Infinitetalk 对口型无限时长数字人视频生成

a931386

------------------------------------------------------------------


工作流链接: https://pan.baidu.com/s/1bS2c-X4tzjS6kpknPowZIA?pwd=c2i5 提取码: c2i5



Infinitetalk使用的是Wan2.1的模型架构
可参考下面连结的工作流程

Wan2.1图生视频,Comfyui一键生成涩图，换脸高清修復一体包

------------------------------------------------------------------
ComfyUI\models\diffusion_models


wan2.1_i2v_480p_14B_fp8_scaled.safetensors

Wan2_1-InfiniTetalk-Single_fp16

ComfyUI\models\vae


Wan2_1_VAE_bf16

ComfyUI\models\text_encoders

umt5-xxl-enc-fp8_e4m3fn.safetensors



ComfyUI\models\clip_vision

clip_vision_h.safetensors

ComfyUI\models\Loras


lightx2v_I2V_14B_480p_cfg_step_distill_rank256_bf16.safetensors



红框输入解析度、上传音频与图片



4090 48GB
测试解析度1280X720、单个影片81帧5秒要5分钟
显存佔用36GB
和Wan2.1大同小异

WaveBedo

视频说话的声音，
有办法改成另外一个人的声音吗
而且要保持原视频的嘴型
试过剪映的，似乎效果不佳啊

目前有其他的办法吗

a931386

WaveBedo 发表于 2025-8-28 15:32
视频说话的声音，
有办法改成另外一个人的声音吗
而且要保持原视频的嘴型

一般都是用Sovits或Rvc做模型訓練轉換,B站上的換口型通常都會替換原視頻的嘴型

WaveBedo

a931386 发表于 2025-8-28 15:35
一般都是用Sovits或Rvc做模型訓練轉換,B站上的換口型通常都會替換原視頻的嘴型 ...

也就是没有办法保持原来的嘴型，是吧
那相当于嘴型被修改了，这应该会降低原来视频的真实感吧

我希望的是语速一样，嘴型一样，尽量维持原样

WaveBedo

a931386 发表于 2025-8-28 15:35
一般都是用Sovits或Rvc做模型訓練轉換,B站上的換口型通常都會替換原視頻的嘴型 ...

重新测试了一下剪映，
发现是可行的，
测试了多个人声，
嘴型都跟原来的一样

a931386

WaveBedo 发表于 2025-8-28 15:50
也就是没有办法保持原来的嘴型，是吧
那相当于嘴型被修改了，这应该会降低原来视频的真实感吧

使用視頻作為來源進行替換嘴型是對的上
但要是換作是別的音源
例如讓老三國曹老闆唱「東漢末年分三國、烽火連篇不休」
口型會不一樣吧
換口型主要使用是替換音源為主

WaveBedo

a931386 发表于 2025-8-28 23:30
使用視頻作為來源進行替換嘴型是對的上
但要是換作是別的音源
例如讓老三國曹老闆唱「東漢末年分三國、烽 ...

好的，明白了

滚石

这个不是一般的占显存，本地机器基本跑不动了

a931386

滚石 发表于 2025-8-29 23:01
这个不是一般的占显存，本地机器基本跑不动了

這個是用KJ的節點有區塊交換可以省顯存，模型改480P小一點8G應該能跑，反倒是內存要60G以上，我沒開區塊交換內存佔用在60~70g