概念Adapter / Adapter Module
适配器
一种轻量级神经网络模块,插入在预训练模型各层之间或输出端,微调时仅更新少量参数而保持原模型权重不变,实现参数高效的自适应迁移。
时间轴 (近 90 天)
11月2日
适配器是在模型层间插入小型可训练模块,冻结原权重,通过外挂模块实现能力扩展。
待验证50%
11月2日
微调、适配器和检索增强的共同点是权重修改与模型运行分离。
待验证50%
10月27日
通过LoRA微调共享并冻结骨干网络,仅维护学生和教师两个轻量级适配器,可将显存占用从两份完整模型降为一份骨干加两份小适配器。
待验证50%
10月24日
适配器(Adapters)在Transformer层之间插入小型前馈模块并只训练这些模块,会引入额外串行计算,推理延迟略高于LoRA。
待验证50%
10月24日
方法选择建议:追求低延迟、易部署、生态成熟优先LoRA;需要多任务隔离、模块化挂载考虑适配器;参数预算极紧、任务相对简单可试前缀或提示调优。
待验证50%
9月30日
SCLATE 提供一个开放的事件调度器,基准测试和未经修改的智能体都可以通过适配器将各自的事件注册进来
待验证50%
全部知识事实 (6)
待验证
适配器是在模型层间插入小型可训练模块,冻结原权重,通过外挂模块实现能力扩展。
50%待验证微调、适配器和检索增强的共同点是权重修改与模型运行分离。
50%待验证通过LoRA微调共享并冻结骨干网络,仅维护学生和教师两个轻量级适配器,可将显存占用从两份完整模型降为一份骨干加两份小适配器。
50%待验证适配器(Adapters)在Transformer层之间插入小型前馈模块并只训练这些模块,会引入额外串行计算,推理延迟略高于LoRA。
50%待验证方法选择建议:追求低延迟、易部署、生态成熟优先LoRA;需要多任务隔离、模块化挂载考虑适配器;参数预算极紧、任务相对简单可试前缀或提示调优。
50%待验证SCLATE 提供一个开放的事件调度器,基准测试和未经修改的智能体都可以通过适配器将各自的事件注册进来
50%