Трансформер^2: Самоадаптивные LLMs

Transformer^2: Self-adaptive LLMs

January 9, 2025

Авторы: Qi Sun, Edoardo Cetin, Yujin Tang

cs.AI

Аннотация

Самонастраиваемые большие языковые модели (LLM) нацелены на решение вызовов, поставленных перед традиционными методами настройки, которые часто требуют значительных вычислительных ресурсов и статичны в своей способности обрабатывать разнообразные задачи. Мы представляем \implname, новую систему самонастройки, которая адаптирует LLM для невидимых задач в реальном времени путем выборочной корректировки только отдельных компонентов их матриц весов. Во время вывода, \implname использует двухпроходный механизм: сначала система диспетчеризации определяет свойства задачи, а затем задачно-специфические "экспертные" векторы, обученные с помощью обучения с подкреплением, динамически смешиваются для достижения целевого поведения для поступающего запроса. Наш метод превосходит широко распространенные подходы, такие как LoRA, с меньшим количеством параметров и большей эффективностью. \implname демонстрирует универсальность в различных архитектурах LLM и модальностях, включая задачи вид-язык. \implname представляет собой значительный прогресс, предлагая масштабируемое, эффективное решение для улучшения адаптивности и задачно-специфической производительности LLM, открывая путь к по-настоящему динамическим, самоорганизующимся системам искусственного интеллекта.

English

Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce \implname, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, \implname employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. \implname demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. \implname represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.