Transformer^2: Zelf-aanpassende taalmodelmachines

Transformer^2: Self-adaptive LLMs

January 9, 2025

Auteurs: Qi Sun, Edoardo Cetin, Yujin Tang

cs.AI

Samenvatting

Zelf-aanpassende grote taalmodellen (LLM's) streven ernaar de uitdagingen op te lossen die worden gesteld door traditionele fijnafstemmingsmethoden, die vaak rekenintensief zijn en statisch in hun vermogen om diverse taken aan te kunnen. We introduceren \implname, een nieuw zelfaanpassingskader dat LLM's aanpast voor ongeziene taken in realtime door selectief alleen de afzonderlijke componenten van hun gewichtsmatrices aan te passen. Tijdens inferentie maakt \implname gebruik van een tweestappenmechanisme: eerst identificeert een dispatchsysteem de taakeigenschappen, en vervolgens worden taakspecifieke "expert" vectoren, getraind met behulp van versterkend leren, dynamisch gemengd om het gewenste gedrag voor de binnenkomende prompt te verkrijgen. Onze methode presteert beter dan alomtegenwoordige benaderingen zoals LoRA, met minder parameters en grotere efficiëntie. \implname toont veelzijdigheid aan over verschillende LLM-architecturen en modaliteiten, inclusief visie-taal taken. \implname vertegenwoordigt een significante sprong voorwaarts, en biedt een schaalbare, efficiënte oplossing voor het verbeteren van de aanpasbaarheid en taakspecifieke prestaties van LLM's, en effent het pad voor echt dynamische, zelforganiserende AI-systemen.

English

Self-adaptive large language models (LLMs) aim to solve the challenges posed by traditional fine-tuning methods, which are often computationally intensive and static in their ability to handle diverse tasks. We introduce \implname, a novel self-adaptation framework that adapts LLMs for unseen tasks in real-time by selectively adjusting only the singular components of their weight matrices. During inference, \implname employs a two-pass mechanism: first, a dispatch system identifies the task properties, and then task-specific "expert" vectors, trained using reinforcement learning, are dynamically mixed to obtain targeted behavior for the incoming prompt. Our method outperforms ubiquitous approaches such as LoRA, with fewer parameters and greater efficiency. \implname demonstrates versatility across different LLM architectures and modalities, including vision-language tasks. \implname represents a significant leap forward, offering a scalable, efficient solution for enhancing the adaptability and task-specific performance of LLMs, paving the way for truly dynamic, self-organizing AI systems.