展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 固定问题、答案与两类干扰
- 明确声明标签由谁给出
- 核对Ragas评分方向
- 配置两种评测mode
- 执行真实评判并保存中间声明
- 回读争议声明的来源
- 交付对照与错误归因
1. 固定问题、答案与两类干扰
先准备正确证据、相关干扰和无关干扰的对照；不要在加入干扰时同时换问题或参考答案。
2. 明确声明标签由谁给出
本包author_claim_labels全是作者标注，C2/C3分别表示相关与无关内容支持了错误声明。它们不是评判模型返回。
本题独立目录执行
bash
python reference/audit.py3. 核对Ragas评分方向
NoiseSensitivity越高表示对检索噪声越敏感，不是越好。audit.py用作者声明标签算出两种参考比例，各为0.25。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 配置两种评测mode
在当前Ragas中分别使用relevant与irrelevant模式，保留实际metric所需input/reference/retrieved_contexts等列，缺列就先修数据。
5. 执行真实评判并保存中间声明
授权模型环境保存拆出的声明、正确性、上下文支持关系和最终score。只有分数而没有归因，不足以解释干扰造成什么错误。
6. 回读争议声明的来源
逐条核验C2类相关干扰和C3类无关干扰；评判器也可能误判，人工分歧必须保留。
7. 交付对照与错误归因
将作者标签、真实评判标签和最终指标并列，不把本包0.25直接称Ragas测得结果。本文没有运行评判模型。
怎样确认已经完成
- 同一问题答案基线不变
- 评分方向写清
- 评判模型分歧保留
- 已构造真实Ragas NoiseSensitivity两种mode并核对必需列，另执行作者标签比例；未调用拆声明或评判模型。
常见问题
Ragas怎么测检索噪声对答案的影响？
保持问题和答案固定，比较相关/无关噪声支持的错误声明；NoiseSensitivity越高越敏感。本包只构造真实metric对象并用作者标签算参考比例。
相关干扰和无关干扰，Noise Sensitivity有什么区别？
relevant关注相关检索内容支持了哪些错误，irrelevant关注无关内容支持的错误。真实拆声明与评判模型未运行，作者0.25不是Ragas实测。
这篇教程哪些步骤已经真正执行？
已构造真实Ragas NoiseSensitivity两种mode并核对必需列，另执行作者标签比例；未调用拆声明或评判模型。