展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 准备同义与否定两类问题
- 审计高相似反例
- 确认LiteLLM缓存后端和字段
- 写入允许重启问题的缓存
- 请求同义和否定问题
- 收紧高风险复用边界
- 交付命中记录与错误条件
1. 准备同义与否定两类问题
q1/q2意思相近，q3多了否定。应答真假条件不同，不能把“字符串很像”直接当成可共用答案。
2. 审计高相似反例
包内0.96/0.98是作者设定分值，不是embedding模型测量。audit.py展示只看阈值会把否定问题错误复用。
本题独立目录执行
bash
python reference/audit.py3. 确认LiteLLM缓存后端和字段
在测试Proxy配置语义缓存与真实embedding提供方，记录缓存键、TTL和阈值作用。先看当前后端文档支持范围。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 写入允许重启问题的缓存
调用q1保存完整响应、模型、系统提示和缓存状态。不要把来自其他系统约束的缓存混入同一实验。
5. 请求同义和否定问题
分别保存q2/q3真实cache-hit字段、相似度与答案。不能为了截图把预期结果预填成缓存响应。
6. 收紧高风险复用边界
否定、数量、权限或时间敏感问题可禁用语义缓存或另加确定性键。语义相似不是事实等价，阈值调高也不保证消除误命中。
7. 交付命中记录与错误条件
保留三条请求、缓存配置及错误复用样例。本文没有跑embedding或LiteLLM语义缓存，作者分值只用于反例审计。
怎样确认已经完成
- 相似度不是事实相等
- 错误命中必须可见
- 不以缓存速度当答案正确
- 已执行作者语义分值与否定意图反例审计；未运行embedding、LiteLLM缓存或测得真实命中，合成分值明确标注。
常见问题
LiteLLM语义缓存怎么避免把否定句命中旧答案？
加入允许/不允许的反例，不只看相似度；高风险否定问题可禁用语义缓存或加确定性约束。本文0.96/0.98为作者合成分值。
相似度阈值调多少才合适，误命中怎么检查？
在固定数据集上同时记录命中与错误复用，没有通用安全阈值。本文未跑embedding或真实缓存，不能给出已验证最佳阈值。
这篇教程哪些步骤已经真正执行？
已执行作者语义分值与否定意图反例审计；未运行embedding、LiteLLM缓存或测得真实命中，合成分值明确标注。