#PEFT

大模型技术实践（四）｜参数高效微调技术解析及AdaLoRA的应用

本文介绍参数高效微调技术（PEFT），通过固定预训练模型大部分参数、仅调整小部分或额外参数，实现与全量微调相近的效果。重点解析了Adapter Tuning和软提示方法（如Prefix Tuning），适用于大模型微调场景下降低计算资源消耗。