# LatentSync 1.6 视频换配音：检查中文爆破音与静音口型

给一段单人底片替换中文音轨，在最明显的开口、闭口和停顿处检查嘴部，不拿画面清晰度替代同步。

## 本包身份

所有 reference 音轨是原创程序合成，旁白是 macOS Tingting 系统朗读，杯子/门是脚本绘制输入；头像是 AI 生成原创虚构成人。官方 driving.mp4 明确标源。未执行 LatentSync 推理/账号生成，不包含伪造的模型成功音频或成片。

## 使用

1. 先准备准确台词和可解码视频

本包底片由原创虚构头像静态展示合成，中文配音是系统朗读，二者是真实输入，不是 LatentSync 成片。自己的正式任务可换成授权带侧转/停顿的原片；保留原片，避免质量损失累积。

2. 区分 1.5 和 1.6 的推理门槛

官方写 1.5 推理最低 8GB、1.6 最低 18GB 显存，1.6 对应 512×512 训练分辨率。本次机器没有准备此推理环境，不把训练门槛、Mac 统一内存或教程文件检查当作已跑通。

3. 按官方推理入口准备配置

官方 gradio_app.py 提供界面，inference.sh 给命令行。仓库只提供口型推理，不等于配音合成；本例先提供 narration.wav。下方是实际官方 README 的推理说明截图，不是假冒模型界面。

4. 固定一组基线参数

在独立目录准备权重后用 stage2_512.yaml、20 steps、guidance_scale=1.5 做初次运行。将视频/音频改绝对路径，先不要同时改变采样步数、引导和输入压缩，保存命令与版本。

5. 执行并保留真实输出

下方命令从官方 inference.sh 提取，video_out_path 指向新文件 dubbed.mp4。出现显存不足或人脸未检出时保存错误，不用系统朗读视频或其它模型结果顶替。

6. 对照口型，而不是只看封面

根据 transcript.txt 标出“八”的张嘴、“门/明”的闭唇和静音处，回看牙齿、脸颊边缘与抖动。相同时间的输入帧只作定位；实际结果需由用户推理后带入 check.py 并逐句回听。

```
# 在已准备 LatentSync 1.6 权重的仓库运行
python -m scripts.inference --unet_config_path configs/unet/stage2_512.yaml --inference_ckpt_path checkpoints/latentsync_unet.pt --inference_steps 20 --guidance_scale 1.5 --enable_deepcache --video_path /绝对路径/portrait-input.mp4 --audio_path /绝对路径/narration.wav --video_out_path dubbed.mp4
```

## 离线检查

`python check.py --self-test` 实读并校验输入与坏文件；真正软件输出后用 `python check.py --result 实际文件` 检查格式并人工回听/看图。结果与已知输入/参考完全相同时会拒绝，不能改名充当生成。格式通过不证明模型调用和内容质量。

## 来源

- https://github.com/bytedance/LatentSync
- https://github.com/bytedance/LatentSync/blob/main/inference.sh