# PEFT 合并 LoRA：用 TIES 和 DARE 处理两个适配器，分别验收两类任务是否退化

已运行作者简化TIES风格符号/裁剪与固定种子DARE算术；未调用PEFT合并真实适配器、训练或模型推理。

## 运行

在本目录使用独立虚拟环境并安装requirements.txt；脚本结果写入results。

```sh
python reference/audit.py
python reference/run_sdk.py
```

fixtures是原创输入与故意失败样本；作者真值、离线合成provider和实际SDK记录各自标明，不是模型正确率。需要真实模型/账号/GPU的步骤按正文另行授权运行。

## 1. 准备两套真实适配器及任务集

support与catalog必须来自兼容底座，并各自有保留测试题。包内四维向量是作者算术练习，不能当真实LoRA参数。

## 2. 审计裁剪、符号冲突与随机丢弃

audit.py展示TIES风格裁剪和符号选择、DARE风格固定种子重缩放；这是明确简化参考，不宣称复刻完整PEFT实现。

## 3. 确认合并方法和目标版本

检查当前add_weighted_adapter的combination_type、density和权重选项。不要把TIES/DARE当成简单模型权重平均。

## 4. 先测两个单独适配器

分别运行退款/保修与型号/尺寸题，保存真实得分和失败。没有基线就不能判定合并是否退化。

## 5. 在隔离模型中合并适配器

记录真实方法、density、权重和随机种子，检查rank与目标模块兼容；失败就保留错误，不能悄悄改成普通平均。

## 6. 用相同测试集测两类任务

同时报告两类质量、格式错误和输出原文。合并后只展示变好的那类会掩盖另一类任务损失。

## 7. 交付配置、基线和退化矩阵

包内无适配器权重、无真实PEFT合并或推理；提供算术和任务审计代码，真实模型结果须另行补证。

## 官方依据

- PEFT 官方文档或源码：https://huggingface.co/docs/peft/developer_guides/model_merging