Routage évolutif des prompts par découverte fine de tâches latentes
Scalable Prompt Routing via Fine-Grained Latent Task Discovery
March 19, 2026
Auteurs: Yunyi Zhang, Soji Adeshina, Patrick Guan, Ashwin Ganesh, Zhen Han, Vassilis N. Ioannidis, Huzefa Rangwala, George Karypis
cs.AI
Résumé
Le routage de prompts sélectionne dynamiquement le modèle de langage le plus approprié parmi un ensemble de candidats pour chaque requête, optimisant les performances tout en maîtrisant les coûts. Alors que les pools de modèles s'étendent pour inclure des dizaines de modèles frontaliers aux écarts de performance réduits, les approches existantes rencontrent des défis majeurs : les taxonomies de tâches définies manuellement ne peuvent saisir les distinctions fines de capacités, tandis que les routeurs monolithiques peinent à différencier les variations subtiles entre tâches diverses. Nous proposons une architecture de routage à deux étapes qui résout ces limitations grâce à une découverte automatisée de tâches granulaires et une estimation de qualité adaptative. Notre première étape utilise un clustering basé sur les graphes pour découvrir des types de tâches latents et entraîne un classifieur à assigner les prompts aux tâches identifiées. La seconde étape emploie une architecture mixture d'experts avec des têtes de prédiction spécialisées par tâche pour des estimations de qualité ciblées. Lors de l'inférence, nous agrégeons les prédictions des deux étapes pour équilibrer stabilité au niveau tâche et adaptabilité spécifique au prompt. Évaluée sur 10 benchmarks avec 11 modèles frontaliers, notre méthode surpasse constamment les approches existantes et excède les performances du modèle individuel le plus performant tout en engendrant moins de la moitié de son coût.
English
Prompt routing dynamically selects the most appropriate large language model from a pool of candidates for each query, optimizing performance while managing costs. As model pools scale to include dozens of frontier models with narrow performance gaps, existing approaches face significant challenges: manually defined task taxonomies cannot capture fine-grained capability distinctions, while monolithic routers struggle to differentiate subtle differences across diverse tasks. We propose a two-stage routing architecture that addresses these limitations through automated fine-grained task discovery and task-aware quality estimation. Our first stage employs graph-based clustering to discover latent task types and trains a classifier to assign prompts to discovered tasks. The second stage uses a mixture-of-experts architecture with task-specific prediction heads for specialized quality estimates. At inference, we aggregate predictions from both stages to balance task-level stability with prompt-specific adaptability. Evaluated on 10 benchmarks with 11 frontier models, our method consistently outperforms existing baselines and surpasses the strongest individual model while incurring less than half its cost.