IR3DE : Un routeur linéaire pour grands modèles de langage

Résumé

Les grands modèles de langage fondationnels (LLMs) démontrent des compétences dans un large éventail de tâches générales et obtiennent des résultats remarquables sur diverses tâches spécialisées via des LLMs experts de domaine. Face à la liste toujours croissante de LLMs disponibles, des routeurs d'inférence sont proposés pour sélectionner le LLM le plus approprié pour chaque requête. Cependant, les méthodes de routage existantes optimisent soit le coût entre des LLMs généralistes de forces variables, soit nécessitent un entraînement conséquent pour prendre en charge le routage par expertise de domaine. Dans cet article, nous proposons IR3DE, un routeur basé sur la régression Ridge pour experts de domaine, qui fournit des décisions de routage rapides et peu coûteuses pour chaque requête. Nous évaluons IR3DE dans deux configurations de modélisation causale du langage (CLM) où les tâches sont la prédiction du prochain jeton pour tous les domaines, et une configuration de raisonnement où chaque domaine possède sa propre tâche de raisonnement distincte. Bien qu'il s'agisse d'un routeur linéaire, IR3DE atteint des performances comparables aux autres références dans les deux configurations CLM, et les dépasse dans la configuration de raisonnement, avec une performance normalisée de 98,4 %. De plus, IR3DE permet l'ajout ou le retrait de nouveaux experts de domaine sans nécessiter un réentraînement complet du routeur, autorisant ainsi un ensemble dynamique de LLMs à être servi avec une perturbation minimale du routeur lui-même. Notre code est disponible à l'adresse : github.com/gensyn-ai/IR3DE.

English

Foundational Large Language Models (LLMs) demonstrate proficiency on a wide range of general tasks, and achieve remarkable results on various specialized tasks via domain-expert LLMs. With the ever-growing list of available LLMs, inference routers are being proposed to select the most appropriate LLM for each prompt. However, existing routing methods either optimize cost across weak-to-strong generalist LLMs or require substantial training to support domain-expertise routing. In this paper, we propose IR3DE, a Ridge Regression-based Router for Domain Experts that provides cheap and fast routing decisions for each prompt. We evaluate IR3DE in two Causal Language Modeling (CLM) settings where the tasks are next-token prediction for all domains, and one reasoning setting where each domain has its own distinct reasoning task. Despite being a linear router, IR3DE achieves performance comparable to the other baselines in both CLM settings, and surpassing them in the reasoning setting, with a normalized performance of 98.4%. Moreover, IR3DE enables the addition or removal of new domain experts without requiring the router to be retrained from scratch, allowing a dynamic set of LLMs to be served with minimal disruption to the router itself. Our code is available at: github.com/gensyn-ai/IR3DE.