展开本页目录
开始前准备什么
- 先确定任务、允许输入和验收条件，再核对当前模型目录中的准确 ID 与协议。
- 平台目录可见不等于测试 Key 有权限；公开最低报价也不等于账号实扣。
- 下载虚构任务材料，保持各候选输入一致；真实数据应先脱敏。
- 确定任务
- 选同档候选
- 固定样本
- 核对结果与费用
- 生成接入配置
下载中文任务与验收材料
本批离线夹具与空记录模板，不包含新增模型成绩或 API Key。代码候选先人工检查，再在隔离环境验收。
三层容量，不能只看宣传窗口
| 层次 | 需要确认 | 不能由什么证明 |
|---|---|---|
| 厂商型号规格 | 当前官方窗口与输出上限 | 历史型号页或渠道别名 |
| 当前网关与客户端 | 实际接受长度、素材与预算 | 模型目录可见或HTTP 200 |
| 任务效果 | 相关证据、引用与缺失信息处理 | 请求成功或回答很长 |
- 层次
- 厂商型号规格
- 需要确认
- 当前官方窗口与输出上限
- 不能由什么证明
- 历史型号页或渠道别名
- 层次
- 当前网关与客户端
- 需要确认
- 实际接受长度、素材与预算
- 不能由什么证明
- 模型目录可见或HTTP 200
- 层次
- 任务效果
- 需要确认
- 相关证据、引用与缺失信息处理
- 不能由什么证明
- 请求成功或回答很长
固定片段 ID，把答案放在不同位置
测试材料将虚构项目资料分为可引用片段，包含前部、后部与跨段才能回答的问题。生成扩展文本时保存文件 SHA 和真实 tokenizer 版本；仅以字符生成的材料只标字符长度，不宣称固定 Token 数。
每次改变片段顺序或增加填充都形成新样本版本，不能把一个候选的短版本与另一个长版本放进同一成绩。
本站绘制的内容说明图：本页长度实验需要可追溯材料；字符数、段落数不能替代真实 Token 数。
问题需要答案，也需要能核对的引用
引用存在只是第一层。还要人工核对引用是否支撑该结论：找到了同名片段却引用无关一句话，不能算有据回答。无答案样本中给出貌似合理金额同样未通过。
text
text
只使用下载材料的书展片段，回答实际开场日、场地审批记录归档负责人、开场主持人与投稿截止日。
每项返回 answer、source_ids、evidence_quote；引用必须逐字出现在对应片段。
资料未提供主持人，返回 unknown 并说明缺失；两个投稿截止日草案保留 conflicting，不擅自选择版本。
本站绘制的内容说明图：本页书展材料故意包含无答案与冲突问题；不能借同名片段伪造来源或擅自选择草案。
输入规模、缓存和输出截断分开看
长资料通常提高输入用量；重复上下文可能命中缓存，但以接口实际字段和当前计费规则为准。不要将缓存明细再加到已含缓存的总输入中。输出预算不足与无法找到证据是不同失败，保留完成状态和实际回答。
先筛协议，再用代表性资料比较
均衡主力可用于先验证短资料；需要跨多份长资料时再加入复杂候选。页面不把官方窗口转换成能力排名。本批材料离线核对通过以后，仍由自己的账号发请求并保存完整记录。
怎样确认已经完成
- 型号、协议、参数、样本和测试版本都有记录，不混入其他档次的结果。
- 成功、失败、截断与未知请求分别保留；未完成任务不算达标。
- 实际费用与控制台逐次匹配，缺失保持未知；通过短任务以后再验收完整应用流程。
常见问题
能不能直接发满模型上下文做横评？
应先核对实际输入、预算和协议，并在共同规模上验收。只发满每家不同上限会改变任务，不能直接归为同题能力比较；长输入费用也需明确控制。
引用都存在就能自动判事实正确吗？
不能。字符串校验只能证明片段和引用存在，引用是否真正支持结论还需要语义检查，矛盾资料和无答案问题要单列。