展开本页目录
开始前准备什么
- 每条实际尝试有独立 trialId,能对应控制台日志或账单。
- 先定义一项逻辑任务的成功门槛与重试策略,再汇总尝试。
- 本页金额算例是人为算术示例;下载模板 billedUsd 全部为 null,未核对实扣。
- 固定成功标准
- 保留每次尝试
- 核对实际费用
- 检查缺失费用
- 算成功成本
20个虚构任务、参考答案、可信测试与空记录模板。没有新模型成绩,不会调用API。
20 个虚构用例。expected 是验收参考,不是模型结果。
60 行未运行占位;未知耗时、通过与实际扣费保留 null。
三种钱,不能混用
公开展示最低价时,输入与输出取自同一个计费方案,别分别拼出两项最低值。输入输出比例、缓存和账户权限会改变实际费用;其他报价到模型广场查询。
| 信息 | 能说明什么 | 不能当成 |
|---|---|---|
| 公开基础单价 | 某种计费条件下的单位参考 | 这次请求的实际扣费 |
| usage × 价格估算 | 指定假设下的预算参考 | 已结算账单 |
| 对应请求的实际实扣 | 这个账号这次尝试花了多少 | 其他账号或分组的通用费用 |
- 信息
- 公开基础单价
- 能说明什么
- 某种计费条件下的单位参考
- 不能当成
- 这次请求的实际扣费
- 信息
- usage × 价格估算
- 能说明什么
- 指定假设下的预算参考
- 不能当成
- 已结算账单
- 信息
- 对应请求的实际实扣
- 能说明什么
- 这个账号这次尝试花了多少
- 不能当成
- 其他账号或分组的通用费用
失败费用也进入分子
比较逻辑任务成本时,先给同一任务的多次尝试建立稳定关联;trialId 本身标识尝试,不能把一次失败重试后成功当成两个独立任务。工具分析器的记录统计和业务任务统计需要明确各自分母。
实际成本公式
全部尝试实扣 = 成功尝试费用 + 失败/截断/重试费用
成功任务成本 = 全部尝试实扣 / 已验收成功任务数
任一实扣未知 → 实际成功成本未知
成功任务数为 0 → 成功成本不定义一个纯算术例子:便宜失败不等于便宜成功
以上数值由作者编写,只用来演示公式,不是 apizt 或某个模型账单。如果只加两条成功请求,会得到 0.04 / 2 = 0.02 USD,漏掉了失败费用。
| 假设尝试 | 假设实扣 | 验收 |
|---|---|---|
| 任务 A 第一次 | 0.02 USD | 失败 |
| 任务 A 第二次 | 0.03 USD | 通过 |
| 任务 B 第一次 | 0.01 USD | 通过 |
| 全部 | 0.06 USD | 2 项任务完成,成功成本 0.03 USD |
- 假设尝试
- 任务 A 第一次
- 假设实扣
- 0.02 USD
- 验收
- 失败
- 假设尝试
- 任务 A 第二次
- 假设实扣
- 0.03 USD
- 验收
- 通过
- 假设尝试
- 任务 B 第一次
- 假设实扣
- 0.01 USD
- 验收
- 通过
- 假设尝试
- 全部
- 假设实扣
- 0.06 USD
- 验收
- 2 项任务完成,成功成本 0.03 USD
成功标准必须先于成本排名
便宜的回答若把 -50.25 抽成 50.25,这次并没有完成合同。人工清洗和再次请求属于另一层成本,应保留来源,而不是默默把第一次改为通过。
一个会改变成功分母的边界任务
| 编号 | 金额(元) | 数量 | 单位 |
|---|---:|---:|---|
| 0031 | -50.25 | 1 | 笔 |
验收:amountYuan 必须为字符串 "-50.25";丢负号即失败。实扣未核对,留空比填估算更有用
这里展示单条记录片段,不能独立导入分析器。完整下载模板包含 configs 与 records;每个 configId 必须对应一份已核对的配置定义,不能自动推断。
| 场景 | 处理 | 误判 |
|---|---|---|
| 使用公开报价估了 0.001 USD | 单独记录估算假设,billedUsd=null | 写成实扣 |
| 超时后提交情况不明 | unknown,查日志和账单再重试 | 按 0 费用直接重发 |
| 失败请求可能扣费 | 未核对前实扣保持未知 | 默认失败免费 |
| 账单只有合计,无法分配请求 | 注明账期与分配限制 | 随意平均后叫逐请求实扣 |
- 场景
- 使用公开报价估了 0.001 USD
- 处理
- 单独记录估算假设,billedUsd=null
- 误判
- 写成实扣
- 场景
- 超时后提交情况不明
- 处理
- unknown,查日志和账单再重试
- 误判
- 按 0 费用直接重发
- 场景
- 失败请求可能扣费
- 处理
- 未核对前实扣保持未知
- 误判
- 默认失败免费
- 场景
- 账单只有合计,无法分配请求
- 处理
- 注明账期与分配限制
- 误判
- 随意平均后叫逐请求实扣
未实测或未核对的记录占位
{
"trialId": "planned-summary-negation-01-claude-sonnet-5-5-r1",
"model": "claude-sonnet-5-5",
"datasetId": "growth-batch8-task-suite-v1",
"sampleId": "summary-negation-01",
"configId": "planned-claude-sonnet-5-5-r1",
"status": "unknown",
"passed": null,
"elapsedMs": null,
"billedUsd": null,
"inputTokens": null,
"outputTokens": null,
"cachedInputTokens": null,
"reasoningTokens": null,
"finishReason": null
}价格与质量一起选,不给未测结果排序
先筛出达到质量门槛的候选,再在同一任务与参数范围比较费用。如果几款通过率不同,把成本、失败原因和样本量并列,不用一项综合分掩盖关键事实错误。已有 27 次短任务报告的新批次实扣尚待核对;不能凭基础价直接给它实际成功成本。
分析器仅接受 schemaVersion=1、kind=benchmark-attempts、configs 与 records 的 JSON 对象。CSV 是记录填写表,转换时还需带上配置定义;不会从 CSV 推测原生参数。
分析器展示请求尝试统计、已确认完成耗时与费用缺失,不直接给业务任务成功成本排名。本文算式要求你先把重试归到同一逻辑任务。
怎样确认已经完成
- 失败、截断和重试尝试费用没有被漏掉。
- 业务任务与请求尝试分母分别定义。
- 未核对实扣保持 null,没有用报价或估算补齐。
- 零成功与缺费时不输出伪精确的实际成功成本。
常见问题
没有逐请求账单还能算吗?
可以给出明确假设的估算或账期层面的统计,但不能声称已核对的逐请求实扣。实际成功成本字段保持未知,注明可用证据范围。
HTTP 错误一定不收费吗?
不能假定。尤其请求超时或结果未知时,应核对实际日志和费用,再决定重试与记账。
最低 token 单价就是最便宜的模型吗?
未必。输出长度、推理、缓存、失败与返工会影响完成一次任务的成本,需要用同题和实际费用检验。