展开本页目录
开始前准备什么
- 下载完整练习包，在独立目录阅读README与已执行范围。
- 安装requirements.txt指定版本或使用文中目标工具；依赖与模型权重不要混入网站工程。
- 只有明确标为已执行的部分有本次证据；真实模型、账号或GPU步骤按自己的环境另行验证。
- 准备两套真实适配器及任务集
- 审计裁剪、符号冲突与随机丢弃
- 确认合并方法和目标版本
- 先测两个单独适配器
- 在隔离模型中合并适配器
- 用相同测试集测两类任务
- 交付配置、基线和退化矩阵
1. 准备两套真实适配器及任务集
support与catalog必须来自兼容底座，并各自有保留测试题。包内四维向量是作者算术练习，不能当真实LoRA参数。
2. 审计裁剪、符号冲突与随机丢弃
audit.py展示TIES风格裁剪和符号选择、DARE风格固定种子重缩放；这是明确简化参考，不宣称复刻完整PEFT实现。
本题独立目录执行
bash
python reference/audit.py3. 确认合并方法和目标版本
检查当前add_weighted_adapter的combination_type、density和权重选项。不要把TIES/DARE当成简单模型权重平均。
本题SDK或目标环境入口
bash
python reference/run_sdk.py
4. 先测两个单独适配器
分别运行退款/保修与型号/尺寸题，保存真实得分和失败。没有基线就不能判定合并是否退化。
5. 在隔离模型中合并适配器
记录真实方法、density、权重和随机种子，检查rank与目标模块兼容；失败就保留错误，不能悄悄改成普通平均。
6. 用相同测试集测两类任务
同时报告两类质量、格式错误和输出原文。合并后只展示变好的那类会掩盖另一类任务损失。
7. 交付配置、基线和退化矩阵
包内无适配器权重、无真实PEFT合并或推理；提供算术和任务审计代码，真实模型结果须另行补证。
怎样确认已经完成
- 记录随机种子与density
- 不能只看平均分
- 底座不一致不得硬合并
- 已运行作者简化TIES风格符号/裁剪与固定种子DARE算术；未调用PEFT合并真实适配器、训练或模型推理。
常见问题
PEFT怎么用TIES和DARE合并两个LoRA？
用兼容适配器与当前add_weighted_adapter的TIES/DARE组合类型、density和权重；先核对rank/模块。包内算术是简化作者参考。
合并适配器后怎么分别检查两个任务有没有退化？
分别保留support和catalog单适配器基线、相同测试集及合并结果，报告任一类退化。未运行真实适配器合并或推理。
这篇教程哪些步骤已经真正执行？
已运行作者简化TIES风格符号/裁剪与固定种子DARE算术；未调用PEFT合并真实适配器、训练或模型推理。