# Ragas Noise Sensitivity：分别加入相关与无关干扰，定位检索噪声带来的错误

已构造真实Ragas NoiseSensitivity两种mode并核对必需列，另执行作者标签比例；未调用拆声明或评判模型。

## 运行

在本目录使用独立虚拟环境并安装requirements.txt；脚本结果写入results。

```sh
python reference/audit.py
python reference/run_sdk.py
```

fixtures是原创输入与故意失败样本；作者真值、离线合成provider和实际SDK记录各自标明，不是模型正确率。需要真实模型/账号/GPU的步骤按正文另行授权运行。

## 1. 固定问题、答案与两类干扰

先准备正确证据、相关干扰和无关干扰的对照；不要在加入干扰时同时换问题或参考答案。

## 2. 明确声明标签由谁给出

本包author_claim_labels全是作者标注，C2/C3分别表示相关与无关内容支持了错误声明。它们不是评判模型返回。

## 3. 核对Ragas评分方向

NoiseSensitivity越高表示对检索噪声越敏感，不是越好。audit.py用作者声明标签算出两种参考比例，各为0.25。

## 4. 配置两种评测mode

在当前Ragas中分别使用relevant与irrelevant模式，保留实际metric所需input/reference/retrieved_contexts等列，缺列就先修数据。

## 5. 执行真实评判并保存中间声明

授权模型环境保存拆出的声明、正确性、上下文支持关系和最终score。只有分数而没有归因，不足以解释干扰造成什么错误。

## 6. 回读争议声明的来源

逐条核验C2类相关干扰和C3类无关干扰；评判器也可能误判，人工分歧必须保留。

## 7. 交付对照与错误归因

将作者标签、真实评判标签和最终指标并列，不把本包0.25直接称Ragas测得结果。本文没有运行评判模型。

## 官方依据

- Ragas 官方文档或源码：https://docs.ragas.io/en/latest/concepts/metrics/available_metrics/noise_sensitivity/