RouteProfile : Élucidation de l'espace de conception des profils de LLM pour le routage

Résumé

Alors que l'écosystème des grands modèles de langage (LLM) s'étend, les modèles individuels présentent des capacités variables selon les requêtes, les repères et les domaines, ce qui motive le développement du routage des LLM. Si les travaux antérieurs se sont largement concentrés sur la conception de mécanismes de routage, les profils de LLM, qui capturent les capacités des modèles, restent sous-explorés. Dans ce travail, nous nous demandons : comment la conception des profils de LLM affecte-t-elle les performances de routage à travers différents routeurs ? Répondre à cette question aide à clarifier le rôle des profils dans le routage, à démêler la conception des profils de celle des routeurs, et à permettre une comparaison plus équitable et un développement plus fondé des systèmes de routage. À cette fin, nous considérons le profilage des LLM comme un problème d'intégration d'informations structurées sur des historiques d'interactions hétérogènes. Nous développons un espace de conception général des profils de LLM, nommé RouteProfile, selon quatre dimensions clés : la forme organisationnelle, le type de représentation, la profondeur d'agrégation et la configuration d'apprentissage. À travers une évaluation systématique sur trois routeurs représentatifs dans des contextes de généralisation standard et de nouveau LLM, nous montrons que : (1) les profils structurés surpassent systématiquement les profils plats ; (2) les signaux au niveau des requêtes sont plus fiables que les signaux grossiers au niveau des domaines ; et (3) la généralisation aux modèles nouvellement introduits bénéficie le plus des profils structurés sous des configurations entraînables. Dans l'ensemble, notre travail met en lumière la conception des profils de LLM comme une direction importante pour les futures recherches sur le routage.

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.