展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 先写不可抵消的必需事实
- 运行明确分支参考
- 建立DeepAcyclicGraph节点
- 把DAG交给DAGMetric
- 保存每个节点判断
- 重复测语言好但缺日期的反例
- 交付路径、分数与人工差异
1. 先写不可抵消的必需事实
公告答案必须有affected_model与effective_date。R1语言再清楚，只要漏日期就应0分；表达风格不能把缺事实平均掉。
2. 运行明确分支参考
audit.py按required gate→style→terminal计算R1=0、R2=0.5、R3=1。作者分支结果不是DeepEval模型判断。
本题独立目录执行
bash
python reference/audit.py3. 建立DeepAcyclicGraph节点
按当前DeepEval接口将事实提取、二元判断、表达分支和终点分数分开建节点。节点名称要说明输入输出，不只画一张流程图。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 把DAG交给DAGMetric
指定真实test case字段与评判模型，确保required-fact节点结果决定后续走向。构造失败要保留版本和参数错误。
5. 保存每个节点判断
在授权环境对三条答案评测，记录事实提取与每个分支的实际路径。最终分数确定不意味着LLM事实判断绝对正确。
6. 重复测语言好但缺日期的反例
R1必须经过硬门槛失败，不能直接跳风格节点得到高分。若模型误提取出不存在日期，应列为judge错误。
7. 交付路径、分数与人工差异
把作者规则、实际DAG节点输出和分数一并交付。包内只运行规则参考，未执行DeepEval DAGMetric或模型。
怎样确认已经完成
- 硬门槛真实影响最终分
- LLM节点仍会波动
- 分数确定不等于判读绝对正确
- 已构造真实DeepEval LLMTestCase并核对DAG节点接口，另执行作者硬门槛规则；未运行DAG模型评判。
常见问题
DeepEval怎么把必需事实缺失设成直接失败？
把受影响模型与生效日期等必须事实作为先行硬门槛，漏项直接到0分终点，不能被风格分抵消。包内只跑作者规则。
DAGMetric怎么按条件分支评分，而不是平均打分？
将事实提取、二元判断和终点分数建为独立DAG节点，保存真实路径。当前只核对DeepEval节点接口，未运行DAGMetric评判。
这篇教程哪些步骤已经真正执行？
已构造真实DeepEval LLMTestCase并核对DAG节点接口，另执行作者硬门槛规则；未运行DAG模型评判。