展开本页目录
开始前准备什么
- Python 3.10或更新版本；脚本只使用标准库
- 有权处理的资料与原始备份；本篇使用虚构业务样本
- 重跑时使用自己的apizt Key；离线复核无需Key
- 下载资料包
- 核对来源和合同
- 小样本调用文本模型
- 检查并人工确认
- 交付与复用
先下载样例，再完成自己的首次调用
示例不含密钥。API 按实际用量计费；下载和点击不代表调用成功。
中文说明、可编辑输入、脚本、原始响应、校验与交付文件；不含Key
本次样本的审校成果，不等于生产系统已导入
先看本篇能交付什么
把三条模糊要求拆成测试步骤、阈值与负责人问询，避免给客户虚构性能保证。
在线人数、并发请求和吞吐量不是同一指标。缺阈值时不能报告POC已通过。
| 交付物 | 用途与边界 |
|---|---|
| export.csv | 实际输出的审核稿，不会自动写入生产系统 |
| run.py + case.json | 修改自己的资料后可重跑；默认离线复核不调用API |
| response.json + receipt.json | 核对原始模型返回、用量、时间与内容摘要 |
- 交付物
- export.csv
- 用途与边界
- 实际输出的审核稿，不会自动写入生产系统
- 交付物
- run.py + case.json
- 用途与边界
- 修改自己的资料后可重跑；默认离线复核不调用API
- 交付物
- response.json + receipt.json
- 用途与边界
- 核对原始模型返回、用量、时间与内容摘要
第一步：固定输入、来源与缺项
先保留需求原句，分出指标、阈值、样本量和单位。
虚构业务样本；实际调用 apizt API。不是商店、客户或游戏生产数据。
| id | requirement | threshold | unit |
|---|---|---|---|
| PC1 | 响应要快 | 未提供 | ms |
| PC2 | 20条测试里至少18条答案正确 | 18 | cases_of_20 |
| PC3 | 支持100个同时在线，但没有并发压测要求 | 未提供 | concurrent_requests |
- id
- PC1
- requirement
- 响应要快
- threshold
- 未提供
- unit
- ms
- id
- PC2
- requirement
- 20条测试里至少18条答案正确
- threshold
- 18
- unit
- cases_of_20
- id
- PC3
- requirement
- 支持100个同时在线，但没有并发压测要求
- threshold
- 未提供
- unit
- concurrent_requests
本篇实际运行报告截图。业务资料为虚构样本；不是第三方平台界面。
第二步：用 apizt 只跑一次文本任务
运行后PC2才是可测试项；其余列出需要客户确认的性能口径，不拿行业常识补SLA。
下载并解压资料包，先执行 python3 run.py 离线核对保存结果。要调用自己的API，复制一份工作目录，按README修改case.json，再执行 --run --new-output ./my-run；新目录不会混入旧响应或旧人工改动。Key只在终端本次进程中使用。
默认使用本篇资料包指定的低成本文本模型，输出上限1536 tokens，45秒超时，不自动重试；若返回401/429或截断，先核对凭据、额度、路由或输出预算，保留失败记录。
本地复核与运行
python3 --version
python3 run.py
# 阅读README并在工作副本中修改case.json后，才运行下一行
python3 run.py --run --new-output ./my-run第三步：核对真实返回与交付结果
这次运行返回 HTTP 200，模型 gemini-3.8-flash，响应总量 523 tokens，耗时 6.954 秒。原始输出有合同或可用性问题，下面明确展示审校改动。
导出poc-acceptance.csv，经双方确认再执行测试。本篇验证的是验收表生成，不是压力测试。
| 记录ID | 阶段 | 阈值 | 测试计划 |
|---|---|---|---|
| PC1 | needs_threshold | 未提供 | 在双方确认的目标系统或接口上记录响应耗时；先确认指标、计时起止、样本量和环境，阈值未定前不判通过。 |
| PC2 | testable | 18 | 先固定并人工标注20条测试题及证据；逐条保存实际回答，由指定评审按同一标准判正确或错误；正确数至少18条才满足本项。HTTP200不能替代正确。 |
| PC3 | needs_definition | 未提供 | 先确认100个在线用户如何对应请求节奏、并发数、持续时间和测试环境，形成双方批准的负载方案后再执行。 |
- 记录ID
- PC1
- 阶段
- needs_threshold
- 阈值
- 未提供
- 测试计划
- 在双方确认的目标系统或接口上记录响应耗时；先确认指标、计时起止、样本量和环境，阈值未定前不判通过。
- 记录ID
- PC2
- 阶段
- testable
- 阈值
- 18
- 测试计划
- 先固定并人工标注20条测试题及证据；逐条保存实际回答，由指定评审按同一标准判正确或错误；正确数至少18条才满足本项。HTTP200不能替代正确。
- 记录ID
- PC3
- 阶段
- needs_definition
- 阈值
- 未提供
- 测试计划
- 先确认100个在线用户如何对应请求节奏、并发数、持续时间和测试环境，形成双方批准的负载方案后再执行。
本篇实际运行报告截图。业务资料为虚构样本；不是第三方平台界面。
另附20题验收记录空表，填写后再判定
poc-scorecard.csv是20行空白记录表，不是测试成功报告。先由双方固定题目、标准证据和人工标注口径，再记录实际回答与评审人。
本例只生成验收计划；没有发起20次模型测评或负载测试，也不能据此说正确率达到90%。
本次发现的错误：保留原响应后显式审校
合同字段检查不能证明操作计划可执行；补充明确下一步，并保留原模型输出。
没有修改response.json冒充模型答对。下面是审核后允许导出前的明确改动。
| 记录 | 字段 | 原返回 | 审校后 | 原因 |
|---|---|---|---|---|
| PC1 | test_step | 调用apizt API并记录响应时间 | 在双方确认的目标系统或接口上记录响应耗时；先确认指标、计时起止、样本量和环境，阈值未定前不判通过。 | 需求没有指定目标一定是apizt，不能把生成计划所用API当作POC被测系统。 |
| PC2 | test_step | 执行20条测试用例，统计返回答案正确的数量是否达到18条及以上 | 先固定并人工标注20条测试题及证据；逐条保存实际回答，由指定评审按同一标准判正确或错误；正确数至少18条才满足本项。HTTP200不能替代正确。 | 补齐可执行测评资料与记录方法；本次没有执行这20题。 |
| PC2 | clarification | 无 | 待双方确认20题、答案证据及评审标准；本次仅生成计划和空白记录表。 | 避免无澄清被误读为POC已经准备完整或通过。 |
| PC3 | test_step | 维持100个用户在线状态并观察系统表现 | 先确认100个在线用户如何对应请求节奏、并发数、持续时间和测试环境，形成双方批准的负载方案后再执行。 | needs_definition不能跳到维持100用户执行；在线人数不是并发请求数。 |
- 记录
- PC1
- 字段
- test_step
- 原返回
- 调用apizt API并记录响应时间
- 审校后
- 在双方确认的目标系统或接口上记录响应耗时；先确认指标、计时起止、样本量和环境，阈值未定前不判通过。
- 原因
- 需求没有指定目标一定是apizt，不能把生成计划所用API当作POC被测系统。
- 记录
- PC2
- 字段
- test_step
- 原返回
- 执行20条测试用例，统计返回答案正确的数量是否达到18条及以上
- 审校后
- 先固定并人工标注20条测试题及证据；逐条保存实际回答，由指定评审按同一标准判正确或错误；正确数至少18条才满足本项。HTTP200不能替代正确。
- 原因
- 补齐可执行测评资料与记录方法；本次没有执行这20题。
- 记录
- PC2
- 字段
- clarification
- 原返回
- 无
- 审校后
- 待双方确认20题、答案证据及评审标准；本次仅生成计划和空白记录表。
- 原因
- 避免无澄清被误读为POC已经准备完整或通过。
- 记录
- PC3
- 字段
- test_step
- 原返回
- 维持100个用户在线状态并观察系统表现
- 审校后
- 先确认100个在线用户如何对应请求节奏、并发数、持续时间和测试环境，形成双方批准的负载方案后再执行。
- 原因
- needs_definition不能跳到维持100用户执行；在线人数不是并发请求数。
第四步：程序检查与人工确认分开
只校验本例合同、编号、指定事实与格式；不证明业务事实在现实世界成立。
脚本实际测试了改坏行ID与伪造来源ID两个负例，均被拒绝。它们证明这两个错误分支能被检测，不代表所有幻觉、格式或业务错误都已覆盖。
- HTTP200且唯一完整stop响应
- 输入/响应SHA-256一致
- 行ID完整且无重复
- 来源编号必须存在
- 指定事实断言核对
- CSV标准解析器往返：行数一致
- 专用CSV与实际export.csv内容一致：poc-acceptance.csv
local-result.json
{
"testable_requirements": 1,
"needs_clarification": 2,
"actual_load_test": false,
"poc_passed": false
}第五步：用自己的小样本验收，再进入业务流程
先把资料换成有权处理的脱敏样本；保留原文件和审核副本，逐项核对来源、条件、未知项与最终输出。
当前页面和结果包没有任何私密Key；不需要登录其他AI平台。配置apizt后先完成一次低成本调用，再判断该任务是否值得复用。
搜索词按具体工作任务组织；本批没有取得这些词的Google或抖音搜索量，不标注虚构热度，也不承诺收录、排名或业务收益。
怎样确认已经完成
- 在线人数、并发请求和吞吐量不是同一指标。缺阈值时不能报告POC已通过。
- 未知项没有补成事实
- 原始模型输出与人工审校文件分开保存
- 没有执行线上写入或第三方发布
常见问题
样本和截图是真实的吗？
业务输入是明确标注的虚构样本，API响应、耗时、usage、结果文件与报告截图来自这次实际运行；不是客户生产数据，也不是第三方后台截图。
需要登录其他AI平台吗？
不需要。浏览器任务台直接调用apizt，或用资料包里的Python脚本；API按实际用量计费，默认不自动重试，不跑视频模型。
检查通过后能直接用于生产吗？
在线人数、并发请求和吞吐量不是同一指标。缺阈值时不能报告POC已通过。 还要使用真实且有权处理的资料，复核当前平台规则与自己的业务约束。