# Ragas 检索精确率：比较人工相关标签与评判模型，查看前排错文档影响

已实际运行Ragas非LLM Context Precision字符串指标，原排序高于换序；人工AP另列，未运行LLM语义相关性评判。

## 运行

在本目录使用独立虚拟环境并安装requirements.txt；脚本结果写入results。

```sh
python reference/audit.py
python reference/run_sdk.py
```

fixtures是原创输入与故意失败样本；作者真值、离线合成provider和实际SDK记录各自标明，不是模型正确率。需要真实模型/账号/GPU的步骤按正文另行授权运行。

## 1. 保留候选次序和人工标签

r1/r3相关，r2/r4无关；每条标签要能回读人工依据。只有相关数2不能说明前排质量。

## 2. 用交换顺序建立反例

audit.py原排序参考分为5/6，交换后为5/12，相关总数仍是2。分数是作者按排名计算，不冒称Ragas实际评测。

## 3. 选择合适的Context Precision变体

有人工reference_contexts可选非LLM版本；使用LLM版本时按当前类所需reference或reference_contexts提供列，不能缺字段强跑。

## 4. 保持候选内容与数量一致

比较时只改顺序，不改返回条数或语料。另存每次retriever结果的rank、ID、文本和分数。

## 5. 运行指标并保存判断依据

在目标Ragas环境保存真实score；LLM相关性判断还要留理由。没有模型调用的版本也应说明字符串匹配规则与局限。

## 6. 检查人工与模型分歧

把人工相关而模型不相关、及反向情况分别列出，回读原文。不要为了分数好看直接改人工真值。

## 7. 交付排名质量与分歧表

保留人工AP参考、真实Ragas指标与换序结果。本文只运行人工排名基准，没有真实Ragas或LLM评判结果。

## 官方依据

- Ragas 官方文档或源码：https://docs.ragas.io/en/latest/concepts/metrics/available_metrics/context_precision/