展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 固定同一条检索任务
- 保存完整工具参数和返回
- 运行重复步骤基准
- 构造实际StepEfficiency测试案例
- 执行效率评判并保留理由
- 把完成质量与步骤浪费并列
- 交付可回放trace与差异
1. 固定同一条检索任务
两段trace都要查A并给出处，direct用3步，loop用5步。不要把不同难度任务放一起比较效率。
2. 保存完整工具参数和返回
示例用search:A等作者标签表示步骤。真实trace应保存工具名、参数、响应、时间和失败，不能只留下最终答案。
本题独立目录执行
bash
python reference/audit.py3. 运行重复步骤基准
audit.py找出loop中两次完全重复search:A；它是确定性重复统计，不是DeepEval Step Efficiency分数，也不判断所有重试都无效。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 构造实际StepEfficiency测试案例
按当前DeepEval版本构造包含工具调用的测试案例与任务目标；先检查必需字段，再指定评判模型。不要让缺失trace变成“高效”。
5. 执行效率评判并保留理由
在授权评判环境分别评测两条trace，保存score、reason与版本。必要重试和新的查询参数应单独说明，不能一概扣分。
6. 把完成质量与步骤浪费并列
确认两条确实完成同一目标，再分析重复搜索是否提供新证据。少步骤但漏办任务也不能作为优化方案。
7. 交付可回放trace与差异
包内已执行作者精确重复检查，真实DeepEval模型评判未执行。接入实际Agent后用真实trace替换样例，并保留改造前后证据。
怎样确认已经完成
- 完成正确与效率分开
- 重试有原因时不盲删
- 工具记录必须真实存在
- 已用真实DeepEval ToolCall/LLMTestCase构造作者trace并审计重复，核对StepEfficiencyMetric接口；未执行评判模型。
常见问题
Agent已经完成任务，怎么发现重复搜索和绕路？
比较同一任务完整trace的重复参数、重复返回与新增证据。作者loop五步含两次精确重复；完成本身不能证明高效。
DeepEval Step Efficiency需要采集哪些真实轨迹？
保留工具名、输入参数、返回、顺序、耗时、失败和最终答案。本文真实构造ToolCall/LLMTestCase，没有执行效率评判。
这篇教程哪些步骤已经真正执行？
已用真实DeepEval ToolCall/LLMTestCase构造作者trace并审计重复，核对StepEfficiencyMetric接口；未执行评判模型。