Transformer^2 : LLMs auto-adaptatifs

Transformer^2: Self-adaptive LLMs

January 9, 2025

Auteurs: Qi Sun, Edoardo Cetin, Yujin Tang

cs.AI

Résumé

Les grands modèles de langage auto-adaptatifs (LLM) visent à résoudre les défis posés par les méthodes traditionnelles de fine-tuning, qui sont souvent intensives en termes de calcul et statiques dans leur capacité à gérer diverses tâches. Nous présentons \implname, un nouveau cadre d'auto-adaptation qui adapte les LLM pour des tâches inconnues en temps réel en ajustant sélectivement uniquement les composants singuliers de leurs matrices de poids. Lors de l'inférence, \implname utilise un mécanisme à deux passes : d'abord, un système de répartition identifie les propriétés de la tâche, puis des vecteurs "experts" spécifiques à la tâche, entraînés à l'aide de l'apprentissage par renforcement, sont dynamiquement mélangés pour obtenir un comportement ciblé pour la requête entrante. Notre méthode surpasse des approches omniprésentes telles que LoRA, avec moins de paramètres et une plus grande efficacité. \implname démontre sa polyvalence à travers différentes architectures de LLM et modalités, y compris les tâches vision-langage. \implname représente un bond en avant significatif, offrant une solution évolutive et efficace pour améliorer l'adaptabilité et les performances spécifiques à la tâche des LLM, ouvrant la voie à des systèmes IA vraiment dynamiques et auto-organisateurs.

English

Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce \implname, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, \implname employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. \implname demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. \implname represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.