RouteProfile: Elucidando o Espaço de Design de Perfis de LLM para Roteamento

Resumo

À medida que o ecossistema de modelos de linguagem de grande escala (LLMs) se expande, modelos individuais exibem capacidades variadas entre consultas, benchmarks e domínios, o que impulsiona o desenvolvimento de roteamento de LLMs. Embora trabalhos anteriores tenham se concentrado majoritariamente no design de mecanismos de roteadores, os perfis de LLMs, que capturam as capacidades dos modelos, permanecem subexplorados. Neste trabalho, perguntamos: Como o design do perfil de LLM afeta o desempenho do roteamento em diferentes roteadores? Abordar essa questão ajuda a esclarecer o papel dos perfis no roteamento, dissociar o design de perfis do design de roteadores e permitir uma comparação mais justa e um desenvolvimento mais fundamentado de sistemas de roteamento. Para tanto, encaramos a criação de perfis de LLMs como um problema estruturado de integração de informações sobre históricos de interação heterogêneos. Desenvolvemos um espaço geral de design para perfis de LLM, denominado RouteProfile, ao longo de quatro dimensões-chave: forma organizacional, tipo de representação, profundidade de agregação e configuração de aprendizado. Por meio de avaliação sistemática em três roteadores representativos, tanto em configurações padrão quanto de generalização para novos LLMs, mostramos que: (1) perfis estruturados superam consistentemente os planos; (2) sinais em nível de consulta são mais confiáveis que sinais grosseiros em nível de domínio; e (3) a generalização para modelos recém-introduzidos se beneficia mais de perfis estruturados sob configurações treináveis. No geral, nosso trabalho destaca o design de perfis de LLM como uma direção importante para futuras pesquisas em roteamento.

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.