Granite置信度评分:给既有回答打分,别把自报信心当已校准概率 素材身份:作者原创输入/可编辑参考。目标工具未在本轮执行。 先打开 index.html;input.csv 是原始字段,reference.csv 是验收基准,negative.csv 是故意构造的坏样例。 actual-results.csv 保留未测状态,实际执行后再填写。 前置条件: 使用IBM官方Granite base与对应adapter;只制作输入和校验可以离线免费进行,真正推理需可承担模型内存的本地/自有环境。 Granite Switch当前仓库要求Python3.11+、PyTorch2.11+;vLLM路径还有CUDA/Transformers兼容要求,不承诺Mac可直接跑同一CUDA栈。 官方代码与所列adapter采用Apache2.0;按具体base card核对许可与版本,目标推理未执行,不编造评分和速度。 操作步骤: 1. 准备带答案基准的问题 只用作者提供的活动规则:11月7日、¥68、提前24小时取消。 问题超出材料时基准标unknown,不臆测真实政策。 2. 固定被评回答 保存完整conversation并以assistant回答结尾。 评分后不修改回答文本,否则原分数不再对应当前答案。 3. 选择匹配adapter 按uncertainty README选择底模和子目录,记录校准适用说明。 普通模型自报百分比不能冒充专门adapter输出。 4. 获取实际certainty 通过官方推荐Mellea intrinsic取得分数并保留原类型。 未运行时留null,不能写看起来合理的高低值。 5. 对照正确性标签 把事实正确、事实错误、不可从材料判断分开。 unknown不直接当正确,也不为了画好看曲线删掉。 6. 检查分组可靠性 在足够样本上按分数分桶看实际正确比例。 本课三题只示范流程,不足以证明本地场景已校准。 7. 交付校准边界 保存答案版本、基准来源和真实评分。 不能把官方在其测试分布的校准描述扩成所有领域保证。 验收: 被评回答版本固定。 adapter评分与聊天自报分开。 三题演示不声称完成统计校准。 官方资料: https://huggingface.co/ibm-granite/granitelib-core-r1.0/blob/main/uncertainty/README.md 图片身份:assets/ 为内置image_gen生成的原创练习输入缩略版,原始文件保留在网站图片来源地址。可编辑SVG为作者原生排版。