Mélange de Sous-espaces dans l'Adaptation à Faible Rang

Mixture-of-Subspaces in Low-Rank Adaptation

June 16, 2024

Auteurs: Taiqiang Wu, Jiahao Wang, Zhe Zhao, Ngai Wong

cs.AI

Résumé

Dans cet article, nous présentons une méthode d'adaptation à faible rang inspirée des sous-espaces (LoRA), qui est efficace sur le plan computationnel, facile à implémenter et directement applicable aux grands modèles de langage, multimodaux et de diffusion. Initialement, nous décomposons de manière équivalente les poids de LoRA en deux sous-espaces, et constatons que leur simple mélange peut améliorer les performances. Pour étudier ce phénomène, nous le revisitons à travers une lentille fine des sous-espaces, montrant qu'une telle modification équivaut à utiliser un mélangeur fixe pour fusionner les sous-espaces. Pour plus de flexibilité, nous apprenons conjointement le mélangeur avec les poids originaux de LoRA, et nommons cette méthode Mixture-of-Subspaces LoRA (MoSLoRA). MoSLoRA surpasse systématiquement LoRA sur des tâches dans différentes modalités, incluant le raisonnement de bon sens, l'ajustement d'instructions visuelles et la génération d'images à partir de texte pilotée par un sujet, démontrant ainsi son efficacité et sa robustesse. Les codes sont disponibles à l'adresse https://github.com/wutaiqiang/MoSLoRA{github}.

English

In this paper, we introduce a subspace-inspired Low-Rank Adaptation (LoRA) method, which is computationally efficient, easy to implement, and readily applicable to large language, multimodal, and diffusion models. Initially, we equivalently decompose the weights of LoRA into two subspaces, and find that simply mixing them can enhance performance. To study such a phenomenon, we revisit it through a fine-grained subspace lens, showing that such modification is equivalent to employing a fixed mixer to fuse the subspaces. To be more flexible, we jointly learn the mixer with the original LoRA weights, and term the method Mixture-of-Subspaces LoRA (MoSLoRA). MoSLoRA consistently outperforms LoRA on tasks in different modalities, including commonsense reasoning, visual instruction tuning, and subject-driven text-to-image generation, demonstrating its effectiveness and robustness. Codes are available at https://github.com/wutaiqiang/MoSLoRA{github}.