DoRA（权重分解低秩适应）：一种新颖的模型微调方法
DoRA在LoRA的基础上进一步发展，通过将预训练权重分解为“幅度”和“方向”两个部分进行微调。
这种权重分解方法允许DoRA更精细地控制模型的学习过程，分别针对权重的大小和方向进行优化。
相比LoRA，它提供了一种更精细、更全面的微调策略。
DoRA的创新之处：
DoRA在LoRA的基础上进一步发展，通过将预训练权重分解为“幅度”和“方向”两个部分进行微调。这种权重分解方法允许DoRA更精细地控制模型的学习过程，分别针对权重的大小和方向进行优化。在调整方向部分时，DoRA利用了LoRA的策略，通过低秩适应来有效地更新方向，而幅度部分则单独进行调整。
DoRA相对于LoRA的优势：
1、更细致的控制：通过分别针对权重的幅度和方向进行调整，DoRA提供了对模型微调过程更细致的控制，从而能够更准确地适应特定的任务需求。
2、增强的学习能力：DoRA的权重分解策略增强了模型在微调过程中的学习能力，使其在多种下游任务上的性能更接近于全参数微调的方法。
3、保持高效性：尽管DoRA在微调策略上进行了创新，但它仍然保持了LoRA的高效性，避免增加额外的推理负担。
4、提高训练稳定性：DoRA通过分解权重并专门针对方向使用低秩适应，提高了训练过程的稳定性，有助于避免过拟合和其他训练问题。
DoRA的创新：
如果仅使用LoRA，这就像是你只能调整方向盘的灵敏度（方向），来使车更好地适应赛道。这种方法有效，但可能不足以让车在所有情况下都表现最佳，因为你没有考虑到其他因素，比如加速的力度。
在DoRA中，你不仅调整方向盘的灵敏度，还可以调整油门的敏感度（幅度）。这样，你就可以更细致地控制车的行驶，既能确保它沿着正确的路径前进，又能控制它的速度，以应对不同的路况。
方向调整：通过LoRA进行低秩适应，相当于调整方向盘的灵敏度，让AI模型在做出决策时能更精确地指向正确的方向。
幅度调整：独立进行的幅度调整，就像是根据赛道的不同部分调整油门的敏感度，让模型对它的决策有适当的信心。
论文：https://arxiv.org/abs/2402.09353
GitHub：https://github.com/catid/dora
- 复制链接
- 举报
