大模型微调LoRA技术解析

LoRA论文LoRA: Low-Rank Adaptation of Large Language Models原视频【LoRA微调】从原理到调参7 个问题彻底理解LoRA1. 什么是LoRA举例说明2. 为什么需要LoRA3. 数学原理奇异值分解低秩矩阵信息量主要集中在少数几个方向为什么可以对增量权重矩阵低秩分解可以对原始权重矩阵低秩分解吗4. LoRA如何更新参数初始化LoRA的缩放因子超参上图中的第4步中的α/r是LoRA 的缩放因子控制 LoRA 分支对原始模型的影响强度经验起点是 r8α16即α/r2意思是 LoRA 分支的输出会被放大 2 倍5. LoRA可以用在Transformer的哪些层注意力层前馈层FFN其他层6. LoRA有哪些改进版本LoRA对A和B矩阵设置不同的学习率加速收敛DoRA将W分解为幅度方向幅度单独训练方向LoRA增rsLoRA系数分母变为根号r PiSSAA和B初始化使用SVDGaLore将全权重梯度投影到低秩空间内存极低但每步投影如何选择7. LoRA训练时需要调整哪些超参数参数介绍 - LLaMA Factory调参技巧