展开本页目录
开始前准备什么
- 使用IBM官方Granite base与对应adapter;只制作输入和校验可以离线免费进行,真正推理需可承担模型内存的本地/自有环境。
- Granite Switch当前仓库要求Python3.11+、PyTorch2.11+;vLLM路径还有CUDA/Transformers兼容要求,不承诺Mac可直接跑同一CUDA栈。
- 官方代码与所列adapter采用Apache2.0;按具体base card核对许可与版本,目标推理未执行,不编造评分和速度。
- 写最小能力清单
- 列出库内真实能力
- 核对共同底模
- 按名称精确筛选
- 组合并查实际产物
- 分别自检两项函数
- 交付依赖与范围记录
1. 写最小能力清单
本课只需要判断材料是否可回答,再给已生成回答补引用。
不加入语音、Decision或全部安全能力,先确认两项函数的输入输出。
2. 列出库内真实能力
使用composer的--list-adapters查看当前RAG库目录。
官方源码支持只列清单不构建,但首次远程目录读取仍需网络;本稿未执行。
3. 核对共同底模
按各自README确认answerability与citations支持所选Granite4.1-3B。
不能因为库内某函数支持3B就推断所有adapter均支持。
4. 按名称精确筛选
按官方源码示例加入--include-adapters answerability citations。
若当前列出的名称变化,以实际目录为准;不匹配时停下核对,不退回全库。
5. 组合并查实际产物
执行后检查配置中的实际adapter清单及chat template。
只有两项预期能力被选中才满足范围,目录存在不算裁剪成功。
6. 分别自检两项函数
用一题有证据、一题无证据检查answerability,再用固定回答检查citations的schema。
组合完成和函数语义正确仍是两层验收。
7. 交付依赖与范围记录
保存base、库revision、列目录命令、include命令与实际产物清单。
未组合时保持not_run,不制造模型摘要或性能数字。
下载本课材料并开始操作
练习包包含本课的具体输入、可编辑数据、正反样例与七步说明。index.html 可离线查看原件和验收参考,actual-results.csv 用于记录你实际操作后的结果。
怎样确认已经完成
- 所选函数有共同支持底模。
- include来自真实目录且最终配置无意外能力。
- 组合与两项函数自检分别记录。
常见问题
Granite组合模型能只选两个函数吗?
官方composer源码提供--include-adapters,并建议先--list-adapters。本课按官方示例选择answerability和citations,再查最终产物清单;库级--adapters本身不等于已精确裁剪。
选的名字不在当前库里怎么办?
回到当前revision的目录和README核对,不要静默删除include过滤变成全库。底模支持、函数名称和最后输出清单都需要一致。



