RouteProfile: Elucidando el espacio de diseño de perfiles de LLM para enrutamiento

Resumen

A medida que el ecosistema de modelos de lenguaje grande (LLM) se expande, los modelos individuales muestran capacidades variables según las consultas, los puntos de referencia y los dominios, lo que motiva el desarrollo del enrutamiento de LLM. Si bien trabajos previos se han centrado principalmente en el diseño de mecanismos de enrutamiento, los perfiles de LLM, que capturan las capacidades del modelo, siguen estando poco explorados. En este trabajo, preguntamos: ¿cómo afecta el diseño del perfil de LLM al rendimiento del enrutamiento en diferentes enrutadores? Abordar esta pregunta ayuda a aclarar el papel de los perfiles en el enrutamiento, a separar el diseño de perfiles del diseño de enrutadores, y a permitir una comparación más justa y un desarrollo más fundamentado de los sistemas de enrutamiento. Con este fin, consideramos la creación de perfiles de LLM como un problema de integración de información estructurada sobre historiales de interacción heterogéneos. Desarrollamos un espacio de diseño general para perfiles de LLM, denominado RouteProfile, a lo largo de cuatro dimensiones clave: forma organizativa, tipo de representación, profundidad de agregación y configuración de aprendizaje. Mediante una evaluación sistemática en tres enrutadores representativos, tanto en configuraciones estándar como de generalización a nuevos LLM, demostramos que: (1) los perfiles estructurados superan consistentemente a los planos; (2) las señales a nivel de consulta son más fiables que las señales gruesas a nivel de dominio; y (3) la generalización a modelos recién introducidos se beneficia más de los perfiles estructurados bajo configuraciones entrenables. En general, nuestro trabajo destaca el diseño de perfiles de LLM como una dirección importante para la futura investigación en enrutamiento.

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.