Transformer^2: LLMs autoadaptativos

Transformer^2: Self-adaptive LLMs

January 9, 2025

Autores: Qi Sun, Edoardo Cetin, Yujin Tang

cs.AI

Resumen

Los modelos de lenguaje grandes autoadaptativos (LLMs) buscan resolver los desafíos planteados por los métodos tradicionales de ajuste fino, que a menudo son intensivos computacionalmente y estáticos en su capacidad para manejar diversas tareas. Presentamos \implname, un novedoso marco de autoadaptación que adapta los LLMs para tareas no vistas en tiempo real al ajustar selectivamente solo los componentes singulares de sus matrices de peso. Durante la inferencia, \implname emplea un mecanismo de dos pasos: primero, un sistema de despacho identifica las propiedades de la tarea, y luego los vectores "expertos" específicos de la tarea, entrenados mediante aprendizaje por refuerzo, se mezclan dinámicamente para obtener un comportamiento específico para la solicitud entrante. Nuestro método supera a enfoques ubicuos como LoRA, con menos parámetros y mayor eficiencia. \implname demuestra versatilidad en diferentes arquitecturas y modalidades de LLM, incluidas tareas de visión y lenguaje. \implname representa un avance significativo, ofreciendo una solución escalable y eficiente para mejorar la adaptabilidad y el rendimiento específico de tareas de los LLMs, allanando el camino para sistemas de IA verdaderamente dinámicos y autoorganizativos.

English

Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce \implname, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, \implname employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. \implname demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. \implname represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.