# MuseTalk 1.5 数字人口播教程：让头肩底片匹配自有配音

给单人正面底片配一段中文旁白，按爆破音、开口音和静音段检查嘴部匹配，不重复字幕制作。

## 本包身份

所有 reference 音轨是原创程序合成，旁白是 macOS Tingting 系统朗读，杯子/门是脚本绘制输入；头像是 AI 生成原创虚构成人。官方 driving.mp4 明确标源。未执行 MuseTalk 推理/账号生成，不包含伪造的模型成功音频或成片。

## 使用

1. 试听原音并确认底片身份

portrait-input.mp4 是原创虚构成人静态头像的真实练习底片，narration.wav 由 macOS Tingting 朗读原创台词；它们不是 MuseTalk 输出。先看单人脸是否完整，听清“八、门、明天”等易检查发音。

2. 检查音频、帧率与模型目录

本例底片 25fps，源音频为真实 WAV。按官方 README 准备 musetalkV15、Whisper、VAE、DWPose 等权重；模型文件目录和版本必须匹配，不能用空文件通过存在性检查。

3. 按官方界面指定输入

启动官方 Gradio 示例，在视频与音频输入框分别选择底片和配音。官方截图展示的脸与参数是原示例，不是本页推理。先不额外做字幕、配乐或情绪处理，确保只有一条人声。

4. 使用 v1.5 常规推理配置

复制 material-inference.yaml 到独立配置目录，改为素材绝对路径。实际命令指定 scripts.inference、v15、musetalkV15 的 unet.pth 与 musetalk.json，避免 shell 脚本默认仍指向官方 test.yaml。

5. 保存正常推理与真实错误

运行命令后保留 result_dir、终端异常与设备信息。没有权重或合适设备时停在此步，pending 不改为 done。官方 V100 的实时数字不能当你设备帧率；本站没有运行 MuseTalk。

6. 按音节检查嘴部与接缝

在“八”的开口、“门/明”的闭口和句间静音处对照原声与输出，看牙齿、下巴边界与侧脸。check.py 能确认输出可解码和时长，不判断中文口型一定准确；review.csv 逐项填写。

```
# 在已准备模型的 MuseTalk 仓库运行；配置内使用绝对路径
python -m scripts.inference --inference_config /绝对路径/material-inference.yaml --result_dir ./results/apizt --unet_model_path ./models/musetalkV15/unet.pth --unet_config ./models/musetalkV15/musetalk.json --version v15
```

## 离线检查

`python check.py --self-test` 实读并校验输入与坏文件；真正软件输出后用 `python check.py --result 实际文件` 检查格式并人工回听/看图。结果与已知输入/参考完全相同时会拒绝，不能改名充当生成。格式通过不证明模型调用和内容质量。

## 来源

- https://github.com/TMElyralab/MuseTalk
- https://github.com/TMElyralab/MuseTalk/blob/main/inference.sh