SadTalker 音频驱动说话人脸动画实战指南4 个关卡让一张照片开口说话【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker跑完本文你会得到一支由「一张图 一段音频」驱动的说话人脸视频SadTalker 是发表于 CVPR 2023 的开源工具输入一张人像图片和任意一段音频它会生成 3D 面部运动系数并渲染出口型、表情都贴合语音的视频。整个流程拆成 4 个关卡跟着做即可每步都是可直接复制的命令不需要读代码。 开场先看看你将得到什么先不急着讲原理看输入输出输入一一张人像图片照片、数字绘画、半身或全身都可以输入二一段音频wav 或 mp3输出一个人物对着音频说话的 mp4 视频上图是项目自带的一张素材图后面我们会用一段中文新闻音频让它开口说话。️ 关卡一7 条命令搭好 SadTalker Python 环境所有命令都在项目目录下执行。先把代码克隆下来git clone https://gitcode.com/GitHub_Trending/sa/SadTalker cd SadTalker创建隔离环境项目基于 Python 3.8避免和其他项目的依赖打架conda create -n sadtalker python3.8 conda activate sadtalker安装 PyTorch有 NVIDIA 显卡建议装对应 CUDA 版本、ffmpeg 视频编码器以及其余全部依赖pip install torch torchvision torchaudio conda install ffmpeg pip install -r requirements.txt到这里环境就绪Python、GPU 框架、视频编码器三件套齐了。 关卡二一键下载全部预训练模型SadTalker 的大脑是几组权重音频转表情模型、音频转姿态模型、256/512 两种分辨率的人脸渲染网络外加 GFPGAN 人脸增强权重。项目自带下载脚本一次拉齐bash scripts/download_models.shWindows 用户先在项目目录里打开 Git Bash再执行这条命令。下载完后用一条命令核对checkpoints/与gfpgan/weights/里文件齐全即可过关ls checkpoints gfpgan/weights看到SadTalker_V0.0.2_256.safetensors、SadTalker_V0.0.2_512.safetensors和两个mapping_*.pth.targfpgan 目录里有几个.pth文件就算合格。 关卡三跑出第一段音频驱动的人脸动画核心命令来了。inference.py只需要两个必填参数--driven_audio是驱动音频--source_image是要动画化的人像python inference.py \ --driven_audio examples/driven_audio/chinese_news.wav \ --source_image examples/source_image/full_body_1.png \ --result_dir results终端打印出The generated video is named: ...时即代表成功成品 mp4 在results/目录下以时间戳命名文件夹。首次运行要加载多个模型会稍慢视频时长与音频一致直接播放就能看到成果。想只要大头效果也可以换成上面这种头像类输入默认的 crop 模式会自动定位人脸只动画化面部区域口型更准。 关卡四最容易卡住的三个点及解法前三个关卡都是顺利路径新手最先被绊住的地方集中在这三处1. 报ffmpeg is not recognized...ffmpeg 不在 PATH 里。Linux 用conda install ffmpeg补装Mac 用brew install ffmpeg装完重开一个终端再试。2. 报CUDA out of memory两个办法加--size 256换用低分辨率模型或运行前设置显存分配策略Linux/Macexport PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128Windows 则改为set PYTORCH_CUDA_ALLOC_CONFmax_split_size_mb:128。3. 报ModuleNotFoundError或指向某个模型文件的FileNotFoundError几乎都是模型没下全。重新执行bash scripts/download_models.sh即可——脚本用wget -nc断点续传已下载的文件会自动跳过放心重复运行。还有一个隐蔽点驱动音频只支持 wav 和 mp3。手头的 m4a、flac 等格式先用 ffmpeg 转一下再喂进去否则会在解码阶段报格式错误。️ 扩展区让效果更好的 4 个开关第一条视频跑通后给同一条inference.py命令追加参数就能解锁下面四种玩法参数作用--still --preprocess full保持原始头姿全身图动画后贴回原画面--enhancer gfpganGFPGAN 人脸增强细节更清晰--ref_pose 视频.mp4借用参考视频的头部运动姿态更自然--expression_scale 1.2表情强度系数1.0 更生动更小则更收敛全身图推荐静止 完整 增强组合拳既保留全身构图又提升画质python inference.py \ --driven_audio examples/driven_audio/imagine.wav \ --source_image examples/source_image/full_body_1.png \ --still --preprocess full \ --enhancer gfpgan \ --result_dir results_enhanced如果手头有数字绘画 音频的组合想实验下面这张方图也是质量不错的输入每个参数的完整说明在 docs/best_practice.md其余疑问可先翻 docs/FAQ.md。 跑完之后下一步往哪走命令行这条链路你已经打通了。下一步建议体验官方 Gradio WebUI直接运行python app_sadtalker.pyWindows 双击webui.bat即可依赖会自动装好在浏览器里上传图片、音频就能生成。再往后可以研究--input_yaw自由视角模式——让一张照片转头看不同方向。关卡都通了素材就在 examples 目录里躺着。去挑一张你喜欢的图和一段音频生成第一支开口说话的肖像吧。【免费下载链接】SadTalker[CVPR 2023] SadTalkerLearning Realistic 3D Motion Coefficients for Stylized Audio-Driven Single Image Talking Face Animation项目地址: https://gitcode.com/GitHub_Trending/sa/SadTalker创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考