# vLLM FP8 KV Cache：降低缓存占用，校准缩放参数并核对长文答案退化

已执行作者KV载荷位宽计算与固定质量案例检查；未加载模型、校准FP8或测GPU显存，理论比例不冒充运行性能。

## 运行

在本目录使用独立虚拟环境并安装requirements.txt；脚本结果写入results。

```sh
python reference/audit.py
python reference/run_sdk.py
```

fixtures是原创输入与故意失败样本；作者真值、离线合成provider和实际SDK记录各自标明，不是模型正确率。需要真实模型/账号/GPU的步骤按正文另行授权运行。

## 1. 固定短文与长文两组问题

两组都要求阀门先关闭，长文将条件放在较远位置。相同原文、采样和输出预算用于baseline/FP8对照。

## 2. 区分理论缓存字节和真实显存

audit.py按元素位宽算0.5载荷比例，未计缩放及运行开销。它不能证明整机显存减半或答案质量不变。

## 3. 核对设备和vLLM支持

在目标版本检查FP8 KV cache支持的设备、dtype与缩放选项；记录GPU和模型，不能在不支持设备上忽略警告。

## 4. 先跑auto基线并保存答案

记录真实显存、上下文长度、首token延迟及答案正确性。所有测试都应使用同一个底座与提示。

## 5. 启用FP8并处理scale

按文档选择计算或加载校准scale，保存配置来源；默认缩放与合理校准的质量可能不同，不要删除告警。

## 6. 比较长文条件是否遗漏

人工核对Q7启动条件和V2顺序，列出正确率、错误及运行失败。减少缓存占用不能抵消遗漏安全前置条件的答案。

## 7. 交付配置与质量对照

保留baseline/FP8原始响应和资源记录。当前包只有理论载荷审计，所有GPU性能与真实答案字段均保持未测。

## 官方依据

- vLLM 官方文档或源码：https://docs.vllm.ai/en/latest/features/quantization/quantized_kvcache/