展开本页目录
开始前准备什么
- 先写出真实用途：代码修复、中文摘要、引用问答、表格抽取或工具选择。
- 从模型广场复制准确 ID，核对账号权限与支持的 API 协议。
- 本页材料为新编写的离线测试集；已有 27 次短任务实测在独立报告中，不是这套材料的成绩。
- 分同档组
- 冻结任务与参数
- 轮换执行顺序
- 逐项验收
- 看成功成本
20个虚构任务、参考答案、可信测试与空记录模板。没有新模型成绩，不会调用API。
20 个虚构用例。expected 是验收参考，不是模型结果。
60 行未运行占位；未知耗时、通过与实际扣费保留 null。
按官方定位分组，不按名字或单价硬凑
“同档”是比较边界，不是数学上的相同能力。以厂商公开定位、目标工作负载和型号代际形成候选组，再用自己的任务检验。型号尾缀、token 单价和上下文长度，都不能单独决定档次。
- 旗舰单列一组，轻量高吞吐型号另列一组；跨档可以做预算取舍页，但要注明目的。
- 这里只采用官方定位作为选型依据，不声称三款使用相同参数数量、训练成本或算力。
| 本页均衡主力组 | 协议参考 | 可比较什么 |
|---|---|---|
| GPT-6.1 Sol | Responses | 同一输入下的任务完成、耗时与费用 |
| Claude Sonnet 5.5 | 原生 Messages | 同一任务合同；保留原生参数差异 |
| Gemini 3.8 Flash | Chat 兼容接口 | 先核对兼容参数是否实际生效 |
- 本页均衡主力组
- GPT-6.1 Sol
- 协议参考
- Responses
- 可比较什么
- 同一输入下的任务完成、耗时与费用
- 本页均衡主力组
- Claude Sonnet 5.5
- 协议参考
- 原生 Messages
- 可比较什么
- 同一任务合同；保留原生参数差异
- 本页均衡主力组
- Gemini 3.8 Flash
- 协议参考
- Chat 兼容接口
- 可比较什么
- 先核对兼容参数是否实际生效
先保存配置，再发第一条请求
同样的用户输入、系统指令、任务版本与验收门槛应固定。输出上限和推理参数按型号支持的字段填写，并保留原始请求。相同的 medium 不表示同等算力；兼容接口是否透传参数也要单独核对。
每款模型各有独立 configId，记录对应的原生协议与真实参数。任务对齐不要求 configId 名字相同；能否横比，要看配置内容与映射验证，而不是字符串相同。
计划生成器目前使用自己的九份固定短任务。下载包的二十个中文新任务属于另一个数据集，要用包内配置模板单独冻结；不要把两套题的请求数或结果合并。
上面的代码是阅读用计划摘要，不能直接导入结果分析器。可导入格式需要 schemaVersion、kind、configs 和 records；请使用下载区的完整 record-template.json 并移除未执行占位。
测试计划摘要
{
"datasetId": "growth-batch8-task-suite-v1",
"configId": "mainstream-v1-fill-before-run",
"modelIds": [
"gpt-6.1-sol",
"claude-sonnet-5-5",
"gemini-3.8-flash"
],
"protocols": [
"responses",
"messages",
"chat-compatible"
],
"reasoningSetting": "按各协议填写，并保存完整请求",
"automaticRetries": 0,
"executed": false
}
本站绘制的内容说明图：本页下载的二十个中文任务属于未执行新数据集；它们不与已有九题成绩合并。
用完整输入和结果合同替代“谁回答得好”
| 任务 | 必须核对 | 容易漏掉的负例 |
|---|---|---|
| 中文摘要 | 人物、日期、金额、否定、未知与证据 | 未获批准不能写成已批准 |
| 长文引用 | 答案和真正支持它的片段 ID | 出现 ID 不等于引用正确 |
| 代码修复 | 只改允许文件、类型与边界测试 | 测试被模型改掉 |
| 表格抽取 | 前导零、金额精度、缺失与单位 | null 被填成 0 |
| 工具选择 | 该调用、不该调用与需要澄清 | 强制调用掩盖判断错误 |
- 任务
- 中文摘要
- 必须核对
- 人物、日期、金额、否定、未知与证据
- 容易漏掉的负例
- 未获批准不能写成已批准
- 任务
- 长文引用
- 必须核对
- 答案和真正支持它的片段 ID
- 容易漏掉的负例
- 出现 ID 不等于引用正确
- 任务
- 代码修复
- 必须核对
- 只改允许文件、类型与边界测试
- 容易漏掉的负例
- 测试被模型改掉
- 任务
- 表格抽取
- 必须核对
- 前导零、金额精度、缺失与单位
- 容易漏掉的负例
- null 被填成 0
- 任务
- 工具选择
- 必须核对
- 该调用、不该调用与需要澄清
- 容易漏掉的负例
- 强制调用掩盖判断错误
可复制的事实抽取任务
只根据下面带 ID 的材料抽取事实。仅输出 JSON，字段为 person、eventDate、budgetYuan、approved、launchDate、evidence。person 是首次提交人的姓名；eventDate 是首次提交日期，不是更正通知日期；budgetYuan 使用有明确更正依据的当前预算。金额为两位小数字符串；日期为 YYYY-MM-DD；明确否定为 false，材料未给出的值为 null。evidence 每个字段对应材料 ID 数组；未知字段为空数组。不得把计划写成已发生。
[S01] 李昕在2026年4月12日提交了映月书架试点申请，预算为12,800元。
[S02] 审议记录明确：申请未获批准。材料没有写明上线日期。轮换顺序，并把每次尝试保留下来
分析器的 completed 表示已确认完整结束并完成验收，必须有 passed=true/false。响应已完成但评分待审时，先保存在自己的待审表；不要让未验收记录进入通过率。非完成状态使用 unknown、truncated、http-error，passed=null。
- 第一轮 A→B→C，第二轮 B→C→A，第三轮 C→A→B，避免一个型号总在同一网络时段测试。
- 每条请求用独立 trialId，保存结束状态。失败、截断和提交结果未知分别记录。
- 重试是新的一条尝试，保留原失败和实际费用；不能仅保留最好的一次。
- 不要为重复请求伪造样本多样性；先增加不同边界用例，再增加重复轮次。
| 记录 | 用途 | 未知怎么填 |
|---|---|---|
| datasetId / configId | 确定同题，并追溯各型号真实配置 | 缺失时不合并成同一组 |
| passed | 按任务合同验收 | 未验收填 null |
| elapsedMs | 统一计时范围 | 缺测填 null |
| billedUsd | 对应本次请求的实际扣费 | 未核对填 null |
- 记录
- datasetId / configId
- 用途
- 确定同题，并追溯各型号真实配置
- 未知怎么填
- 缺失时不合并成同一组
- 记录
- passed
- 用途
- 按任务合同验收
- 未知怎么填
- 未验收填 null
- 记录
- elapsedMs
- 用途
- 统一计时范围
- 未知怎么填
- 缺测填 null
- 记录
- billedUsd
- 用途
- 对应本次请求的实际扣费
- 未知怎么填
- 未核对填 null
三种常见的“公平对比”误判
| 误判 | 为什么会偏 | 修正 |
|---|---|---|
| 旗舰对轻量，得出品牌优劣 | 档次、预算与用途混在一起 | 分组或改成明确的预算取舍 |
| 所有型号 medium，所以同算力 | 厂商档位与网关映射不同 | 记录各自原生设置，不宣称等算力 |
| HTTP 200 就通过 | 可能截断、格式错或事实错 | 先验证完整结束，再验合同 |
- 误判
- 旗舰对轻量，得出品牌优劣
- 为什么会偏
- 档次、预算与用途混在一起
- 修正
- 分组或改成明确的预算取舍
- 误判
- 所有型号 medium，所以同算力
- 为什么会偏
- 厂商档位与网关映射不同
- 修正
- 记录各自原生设置，不宣称等算力
- 误判
- HTTP 200 就通过
- 为什么会偏
- 可能截断、格式错或事实错
- 修正
- 先验证完整结束，再验合同
本站绘制的内容说明图：图展示本页比较方法的误判条件，不给厂商能力或服务 SLA 编造保证。
只给证据支持的结论
当前独立报告的 27 次请求验证的是三款主力在九份短任务上的契约检查。通过这些题不能推出复杂编程、长上下文、完整 Agent 或所有中文任务的综合排名。本页新材料尚未产生模型成绩。
完成自己的数据后，优先选择达到质量门槛、费用可核对、接入行为可复现的型号。其他分组与价格到模型广场查询。
怎样确认已经完成
- 三个型号属于明确的比较组，选型依据可追溯。
- 任务文本与验收标准没有因型号而变化。
- 原始错误、截断、未知与重试都保留。
- 结论限定为本次数据集，不写综合最强。
常见问题
同档模型一定要价格相同吗？
不需要。单价是比较结果中的一个维度。先按厂商定位与任务需求分组，价格差异再结合通过率和实际费用讨论。
可以用 OpenAI 兼容接口统一三款吗？
可以作为统一接口场景测试，但要核对支持字段与转换行为。要研究原生能力时分别保留原生协议，不把网关适配差异当成模型差异。
这一页已有新榜单吗？
没有。本页提供选型方法和离线材料；已有 27 次短任务报告独立展示，不能转写为这些新用例的结果。