低ランク適応における部分空間の混合

Mixture-of-Subspaces in Low-Rank Adaptation

June 16, 2024

著者: Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong

cs.AI

要旨

本論文では、部分空間に着想を得た低ランク適応法（LoRA）を紹介する。この手法は計算効率が高く、実装が容易で、大規模言語モデル、マルチモーダルモデル、拡散モデルに直接適用可能である。まず、LoRAの重みを2つの部分空間に等価に分解し、それらを単純に混合することで性能が向上することを発見した。この現象を詳細に研究するため、細粒度の部分空間レンズを通して再検討し、この修正が部分空間を融合する固定ミキサーを使用することと等価であることを示した。より柔軟性を持たせるため、元のLoRA重みとミキサーを共同で学習し、この手法を部分空間混合LoRA（MoSLoRA）と命名した。MoSLoRAは、常識推論、視覚的指示チューニング、主題駆動型テキスト画像生成など、様々なモダリティのタスクにおいてLoRAを一貫して上回り、その有効性と堅牢性を実証した。コードはhttps://github.com/wutaiqiang/MoSLoRA{github}で公開されている。

English

In this paper, we introduce a subspace-inspired Low-Rank Adaptation (LoRA) method, which is computationally efficient, easy to implement, and readily applicable to large language, multimodal, and diffusion models. Initially, we equivalently decompose the weights of LoRA into two subspaces, and find that simply mixing them can enhance performance. To study such a phenomenon, we revisit it through a fine-grained subspace lens, showing that such modification is equivalent to employing a fixed mixer to fuse the subspaces. To be more flexible, we jointly learn the mixer with the original LoRA weights, and term the method Mixture-of-Subspaces LoRA (MoSLoRA). MoSLoRA consistently outperforms LoRA on tasks in different modalities, including commonsense reasoning, visual instruction tuning, and subject-driven text-to-image generation, demonstrating its effectiveness and robustness. Codes are available at https://github.com/wutaiqiang/MoSLoRA{github}.