展开本页目录
开始前准备什么
- 先确定任务、允许输入和验收条件,再核对当前模型目录中的准确 ID 与协议。
- 平台目录可见不等于测试 Key 有权限;公开最低报价也不等于账号实扣。
- 下载虚构任务材料,保持各候选输入一致;真实数据应先脱敏。
- 确定任务
- 选同档候选
- 固定样本
- 核对结果与费用
- 生成接入配置
本批离线夹具与空记录模板,不包含新增模型成绩或 API Key。代码候选先人工检查,再在隔离环境验收。
先对齐用途,再对齐接口
Sonnet 的官方定位强调速度和智能平衡,Flash 的当前定位包含编程、Agent 与企业流程。本页因此将两款放入均衡主力候选,而非将 Flash-Lite、Haiku、Opus 全部混成同一排名。
| 项目 | Sonnet 5.5 | Gemini 3.8 Flash |
|---|---|---|
| 请求 ID | claude-sonnet-5-5 | gemini-3.8-flash |
| 本次接口 | Anthropic Messages | OpenAI 兼容 Chat |
| 工具提案形式 | tool_use 内容块 | tool_calls 列表 |
| 工具结果关联 | tool_use_id | tool_call_id |
- 项目
- 请求 ID
- Sonnet 5.5
- claude-sonnet-5-5
- Gemini 3.8 Flash
- gemini-3.8-flash
- 项目
- 本次接口
- Sonnet 5.5
- Anthropic Messages
- Gemini 3.8 Flash
- OpenAI 兼容 Chat
- 项目
- 工具提案形式
- Sonnet 5.5
- tool_use 内容块
- Gemini 3.8 Flash
- tool_calls 列表
- 项目
- 工具结果关联
- Sonnet 5.5
- tool_use_id
- Gemini 3.8 Flash
- tool_call_id
已有记录能说明什么?
两款都来自 2026-10-09 的同一均衡主力测试:中文 JSON 抽取、给定资料问答、工具提案参数,各三份不同输入。这里引用已有记录,没有为这个页面另跑一次。样本太短,无法得出复杂编程或长期稳定性的胜负。
| 请求型号 | 这九份短任务 | 完整 HTTP 请求中位数 | 实际扣费 |
|---|---|---|---|
| claude-sonnet-5-5 | 9 / 9 项短任务达标 | 3.96 秒 | 未匹配控制台,保持未知 |
| gemini-3.8-flash | 9 / 9 项短任务达标 | 8.60 秒 | 未匹配控制台,保持未知 |
- 请求型号
- claude-sonnet-5-5
- 这九份短任务
- 9 / 9 项短任务达标
- 完整 HTTP 请求中位数
- 3.96 秒
- 实际扣费
- 未匹配控制台,保持未知
- 请求型号
- gemini-3.8-flash
- 这九份短任务
- 9 / 9 项短任务达标
- 完整 HTTP 请求中位数
- 8.60 秒
- 实际扣费
- 未匹配控制台,保持未知
工具提案正确之后,还需要让流程闭环
本轮工具任务只验提案 ID、类型、名称和参数,没有真实执行查询。应用还要确认工具返回是否匹配调用 ID、下一轮消息是否保留必要上下文,以及错误工具或缺失参数时是否停止。
用同一套只读查询工具做对照,固定权限和最大回合数。禁止一款能联网查新资料、另一款只看静态资料,却把结果记成纯模型能力差异。
中文质量用事实清单检查,不能只看语气流畅
同一篇中文资料可以同时检查事实保留、否定句、专有名词和未提供信息。摘要流畅但把延期写成已完成、把待确认金额写成实际支出,应列为未通过。人工盲评语气与机械核对事实分开记录。
从一个固定任务开始试用
使用下载材料中的一个任务,两个候选收到完全相同的输入。先锁定样本、输出要求和是否允许工具;模型返回后由同一个校验器检查。若更换提示词、切换协议或增加预算,另建配置版本。
- JSON 必须可解析,字段类型和事实逐项一致。
- 截断、空答案和未知完成状态单独记录,不把 HTTP 200 当达标。
- 达到一次请求的要求后,再验证流式、客户端工具回合和实际账单。
中文字段提取任务
只用这条资料输出 JSON,不增加解释:
订单 00128;数量 3 件;单价 29.90 元;收货日期未提供。
字段 order_id(string)、quantity(integer)、unit_price(string)、delivery_date(string|null)。
保留前导零,金额保留两位小数,不推测日期。怎样确认已经完成
- 型号、协议、参数、样本和测试版本都有记录,不混入其他档次的结果。
- 成功、失败、截断与未知请求分别保留;未完成任务不算达标。
- 实际费用与控制台逐次匹配,缺失保持未知;通过短任务以后再验收完整应用流程。
常见问题
Sonnet 速度更快,可以省掉完整任务验收吗?
不可以。当前耗时是这次短任务的整请求中位数,不是首字延迟或长期速度结论。客户端、队列和输出量都会影响它。
两个接口的工具参数能直接复用吗?
共同工具定义的语义可以一致,但字段结构不同。分别构造 Messages 与 Chat 请求,并验证调用 ID、参数和工具结果回传。