# SGLang EAGLE3：记录草稿接受率与端到端速度，找出加速反而变慢的输入

已运行明确标为作者合成测量的速度/接受率算术反例；未执行SGLang EAGLE3或任何真实性能基准。

## 运行

在本目录使用独立虚拟环境并安装requirements.txt；脚本结果写入results。

```sh
python reference/audit.py
python reference/run_sdk.py
```

fixtures是原创输入与故意失败样本；作者真值、离线合成provider和实际SDK记录各自标明，不是模型正确率。需要真实模型/账号/GPU的步骤按正文另行授权运行。

## 1. 选择与目标底座兼容的草稿模型

替换USER_SUPPLIED路径，按官方支持表确认EAGLE3组合和启动选项。包内无模型文件，也不下载大权重。

## 2. 固定硬件与采样控制变量

baseline和speculative同底座、并发、输出长度与采样；分别记录预热次数，不能一边预热一边冷启动。

## 3. 读懂作者算术反例

示例easy加速1.25倍、hard只有0.8倍，均是作者虚构测量输入，用来验证计算公式，不是SGLang性能报告。

## 4. 运行不启用草稿的基线

保存每题耗时、生成token数与真实输出，长短答案差异应按相同终止条件核对。

## 5. 启用EAGLE3记录接受与总时延

保留草稿token数、接受token数以及总耗时。接受率高也可能被草稿计算、传输或批处理开销抵消。

## 6. 定位变慢输入

对hard类输入检查接受率、输出长度及并发，报告减速而不是删除反例。不能仅以token吞吐代替用户端总时延。

## 7. 交付配对结果与原始指标

按ID配对baseline/speculative并附命令与模型版本。本文只执行合成测量的算术审计，真实GPU结果仍待运行。

## 官方依据

- SGLang 官方文档或源码：https://docs.sglang.io/advanced_features/speculative_decoding.html