展开本页目录
开始前准备什么
- 使用IBM官方Granite base与对应adapter；只制作输入和校验可以离线免费进行，真正推理需可承担模型内存的本地/自有环境。
- Granite Switch当前仓库要求Python3.11+、PyTorch2.11+；vLLM路径还有CUDA/Transformers兼容要求，不承诺Mac可直接跑同一CUDA栈。
- 官方代码与所列adapter采用Apache2.0；按具体base card核对许可与版本，目标推理未执行，不编造评分和速度。
- 定义状态与选项
- 核对支持底模
- 准备单token标签
- 读取选项logits
- 还原业务选项
- 测试边界输入
- 交付决策证据
1. 定义状态与选项
工单有付款失败、登录失败和咨询时间三种，团队为payments、account和other。
选项描述互斥且保留other，避免强行误分。
2. 核对支持底模
按官方Decision目录选择Granite4.1-8B或30B及同尺寸adapter。
当前没有3B Decision权重，不能用3B当省内存替代而宣称兼容。
3. 准备单token标签
按官方示例把选项映射到A、B、C并验证tokenizer编码。
业务key不必自身是单token，内部标签与业务key映射要保存。
4. 读取选项logits
一次forward取最后位置logits，只对允许标签做softmax。
不要用generate输出一段团队解释再截首词，机制不同。
5. 还原业务选项
将argmax标签映回团队key，同时保留所有选项概率。
概率只在给定选项集合内归一，不能当世界所有可能原因的完整概率。
6. 测试边界输入
对含两类问题的工单记录歧义，不能因永远落在集合内就当准确。
无选项或只有一个选项的choice请求先拦截。
7. 交付决策证据
保存状态、问题、选项、label映射和实际分布。
未推理时分布为空，不沿用官方示例的0.91数字。
下载本课材料并开始操作
练习包包含本课的具体输入、可编辑数据、正反样例与七步说明。index.html 可离线查看原件和验收参考，actual-results.csv 用于记录你实际操作后的结果。
怎样确认已经完成
- 只使用官方支持8B/30B配对。
- 标签/业务key映射不串。
- 概率来自实际logits，不是生成文字解析。
常见问题
Granite Decision能直接拿3B跑吗？
当前官方Decision只提供Granite4.1-8B与30B目录。其他能力有3B不代表Decision也兼容，应检查该adapter自己的支持表。
只返回三个选项之一，是不是一定分对？
只能保证落在给定集合，不能保证语义正确。选项描述、状态充分性和歧义仍影响判断，本课保留other并检查混合问题。