展开本页目录
开始前准备什么
- 下载本页 ZIP,保留原始输入和来源;示例材料不是模型输出。
- 按官方说明准备匹配软件/模型、设备或账号权限,权重与账号额度不包含在下载包。
- 本地检查需 Python 3 与 FFmpeg/ffprobe;真实结果需要实际生成并回听/看图。
- 先播放镜头并写声音事件
- 核对模型身份与访问条件
- 按模型卡准备 stable-audio-tools
- 描述声音本身,不要求隐藏视频功能
- 生成候选声效并另存
- 按镜头动作人工对齐
1. 先播放镜头并写声音事件
door-input.mp4 是脚本绘制的原创开门练习片,cue.csv 标记门锁、开门和停稳动作。reference-foley.wav 是程序合成的点击/噪声参考,不是真实录音或 Stable Audio 生成结果。
2. 核对模型身份与访问条件
本题是官方 Stable Audio Open Small,不是 Stable Audio 3 或完整歌曲模型。模型卡写最大 11 秒、44.1kHz 立体声,英文描述更合适;需要接受模型访问和许可条件,工具库 MIT 不代表模型也 MIT。
3. 按模型卡准备 stable-audio-tools
在独立环境依官方要求准备 torch 与 stable-audio-tools,完成自己账号的模型访问。模型未获访问时停在这里,不在下载包内写 token,也不绕过门槛。本次没有下载该权重。
4. 描述声音本身,不要求隐藏视频功能
prompt.txt 写木门锁、缓慢吱呀、安静室内,无人声和音乐。run-stable-audio.py 调用官方文本音频接口;它不读取视频,不提供自动理解开门时间的功能。seconds_total=6 是本例目标而非同步保证。
5. 生成候选声效并另存
实际环境运行脚本输出 generated-foley.wav,检查不是静音、削顶或错误 HTML,再完整试听事件顺序。保留模型、版本、英文 prompt 和参数,不以程序参考声效顶替结果。
运行步骤
# 在满足官方模型访问条件的独立环境运行
python run-stable-audio.py
python check.py --result generated-foley.wav6. 按镜头动作人工对齐
将真实声效放入剪辑器,用 cue.csv 和实际门锁帧定位,必要时分段移动。看图对齐波形只是一部分,还要听点击/开门是否落在画面动作上;本页只提供原创输入与真实参考波形,没有模型成功结果。
7. 实读输入与坏文件,再检查你自己的输出
在解压目录运行 python check.py --self-test。脚本读取本页 provenance.json 的输入 hash,检查真实音视频/PNG 和目标区间;坏 WAV、坏 MP4 与反向时间范围应被拒绝。它不会下载模型、请求账号或自动判定口型、音乐质量。输入检查结果见 input-check.json。实际运行后用 --result 指向新文件,并逐项回听/看图。
check.py
python check.py --self-test
python check.py --result 你实际导出的文件.wav8. 交付原始输入、真实输出和待确认项
保留 README、原始输入、parameters.json、provenance.json 和你实际生成的文件;将模型/软件/账号版本、设备和错误写入独立运行记录。review.csv 的 pending 由真实回听/看图后更新,未运行项目不改成 done。配图中的原始参考与官方示例不代表本站已生成同样成果。
怎样确认已经完成
- Open Small、执行库和商业其它型号身份分清。
- 源镜头、程序参考与模型声效分开保存。
- 实际试听事件并人工对齐,不能声称模型自动读视频。
常见问题
它会自动看视频并配上同步声音吗?
本教程调用的是文本生成音频,脚本没有把视频传给模型。同步由你按镜头动作点在编辑器调整。
reference-foley.wav 是真实开门录音吗?
不是,它由代码合成点击与噪声供时间轴练习。模型声效、本人的实录声音与该参考必须分别标明。



