S03 · 销售与售前交付 · 2026-11-03
Gemini 3.8 Flash 实测:POC 验收标准:指标没阈值时先写待确认
把三条模糊要求拆成测试步骤、阈值与负责人问询,避免给客户虚构性能保证。
虚构业务样本,真实 QuickRouter API 调用。页面展示保存的实测结果;刷新页面不会调用API。不是第三方平台操作界面。
HTTP / 模型200 · gemini-3.8-flash
本次响应总 tokens523
本次耗时 / 自动重试6.954秒 / 0次
校验范围样本合同与格式
2. 实际模型返回与显式审校
| 记录ID | 阶段 | 阈值 | 测试计划 | 澄清问题 | 来源ID |
|---|---|---|---|---|---|
| PC1 | needs_threshold | 未提供 | 在双方确认的目标系统或接口上记录响应耗时;先确认指标、计时起止、样本量和环境,阈值未定前不判通过。 | 需要明确响应时间的具体指标和阈值(例如平均响应时间或指定百分位耗时),不能编造p95等数字 | ["PC1"] |
| PC2 | testable | 18 | 先固定并人工标注20条测试题及证据;逐条保存实际回答,由指定评审按同一标准判正确或错误;正确数至少18条才满足本项。HTTP200不能替代正确。 | 待双方确认20题、答案证据及评审标准;本次仅生成计划和空白记录表。 | ["PC2"] |
| PC3 | needs_definition | 未提供 | 先确认100个在线用户如何对应请求节奏、并发数、持续时间和测试环境,形成双方批准的负载方案后再执行。 | 在线用户不等于同时请求,需明确同时在线的具体定义及是否需要并发请求压测要求 | ["PC3"] |
原始模型合同检查失败:合同字段检查不能证明操作计划可执行;补充明确下一步,并保留原模型输出。。表格显示经显式审校的结果;原始响应完整保留。
3. 本地处理与检查
HTTP200且唯一完整stop响应;输入/响应SHA-256一致;行ID完整且无重复;来源编号必须存在;指定事实断言核对;CSV标准解析器往返:行数一致;专用CSV与实际export.csv内容一致:poc-acceptance.csv
{
"testable_requirements": 1,
"needs_clarification": 2,
"actual_load_test": false,
"poc_passed": false
}在线人数、并发请求和吞吐量不是同一指标。缺阈值时不能报告POC已通过。
材料与操作
- 先保留需求原句,分出指标、阈值、样本量和单位。
- 运行后PC2才是可测试项;其余列出需要客户确认的性能口径,不拿行业常识补SLA。
- 导出poc-acceptance.csv,经双方确认再执行测试。本篇验证的是验收表生成,不是压力测试。
请求时间:2026-11-03T06:31:36.371975+00:00 · 原始响应、合同、校验脚本可下载复核。未测试生产业务事实或自然搜索效果。