IR3DE: Ein linearer Router für große Sprachmodelle

Zusammenfassung

Grundlegende große Sprachmodelle (Large Language Models, LLMs) zeigen Kompetenz in einer Vielzahl allgemeiner Aufgaben und erzielen bemerkenswerte Ergebnisse bei verschiedenen spezialisierten Aufgaben durch domänenspezifische LLMs. Angesichts der ständig wachsenden Liste verfügbarer LLMs werden Inferenz-Router vorgeschlagen, um das am besten geeignete LLM für jede Eingabeaufforderung auszuwählen. Bestehende Routing-Methoden optimieren jedoch entweder die Kosten über schwache bis starke allgemeine LLMs hinweg oder erfordern umfangreiches Training, um domänenspezifisches Routing zu unterstützen. In diesem Papier schlagen wir IR3DE vor, einen auf Ridge-Regression basierenden Router für Domänenexperten, der kostengünstige und schnelle Routing-Entscheidungen für jede Eingabeaufforderung ermöglicht. Wir evaluieren IR3DE in zwei Umgebungen des kausalen Sprachmodellierens (Causal Language Modeling, CLM), bei denen die Aufgaben die Vorhersage des nächsten Tokens für alle Domänen sind, sowie in einer Denkaufgaben-Umgebung, in der jede Domäne ihre eigene eindeutige Denkaufgabe hat. Trotz eines linearen Routers erreicht IR3DE in beiden CLM-Umgebungen eine mit den anderen Basislinien vergleichbare Leistung und übertrifft sie in der Denkaufgaben-Umgebung mit einer normalisierten Leistung von 98,4 %. Darüber hinaus ermöglicht IR3DE das Hinzufügen oder Entfernen neuer Domänenexperten, ohne dass der Router von Grund auf neu trainiert werden muss, sodass ein dynamischer Satz von LLMs mit minimalen Unterbrechungen für den Router selbst bereitgestellt werden kann. Unser Code ist verfügbar unter: github.com/gensyn-ai/IR3DE.

English

Foundational Large Language Models (LLMs) demonstrate proficiency on a wide range of general tasks, and achieve remarkable results on various specialized tasks via domain-expert LLMs. With the ever-growing list of available LLMs, inference routers are being proposed to select the most appropriate LLM for each prompt. However, existing routing methods either optimize cost across weak-to-strong generalist LLMs or require substantial training to support domain-expertise routing. In this paper, we propose IR3DE, a Ridge Regression-based Router for Domain Experts that provides cheap and fast routing decisions for each prompt. We evaluate IR3DE in two Causal Language Modeling (CLM) settings where the tasks are next-token prediction for all domains, and one reasoning setting where each domain has its own distinct reasoning task. Despite being a linear router, IR3DE achieves performance comparable to the other baselines in both CLM settings, and surpassing them in the reasoning setting, with a normalized performance of 98.4%. Moreover, IR3DE enables the addition or removal of new domain experts without requiring the router to be retrained from scratch, allowing a dynamic set of LLMs to be served with minimal disruption to the router itself. Our code is available at: github.com/gensyn-ai/IR3DE.