RouteProfile: Verduidelijking van de ontwerpruimte van LLM-profielen voor routering

Samenvatting

Naarmate het ecosysteem van grote taalmodellen (LLM's) zich uitbreidt, vertonen individuele modellen uiteenlopende capaciteiten wat betreft queries, benchmarks en domeinen, wat de ontwikkeling van LLM-routering motiveert. Hoewel eerder onderzoek zich grotendeels heeft gericht op het ontwerp van routermechanismen, blijven LLM-profielen, die modelcapaciteiten vastleggen, onderbelicht. In dit werk vragen we: Hoe beïnvloedt het ontwerp van LLM-profielen de routeringsprestaties bij verschillende routers? Het beantwoorden van deze vraag helpt om de rol van profielen in routering te verduidelijken, het profielontwerp te ontwarren van het routerontwerp, en een eerlijkere vergelijking en meer principiële ontwikkeling van routersystemen mogelijk te maken. Hiertoe beschouwen we LLM-profilering als een gestructureerd informatie-integratieprobleem over heterogene interactiegeschiedenissen. We ontwikkelen een algemene ontwerpruimte voor LLM-profielen, genaamd RouteProfile, langs vier belangrijke dimensies: organisatievorm, representatietype, aggregatiediepte en leerconfiguratie. Door middel van systematische evaluatie over drie representatieve routers onder zowel standaard- als nieuwe-LLM-generalisatie-instellingen, tonen we aan dat: (1) gestructureerde profielen consistent beter presteren dan platte; (2) signaal op query-niveau betrouwbaarder is dan grof signaal op domeinniveau; en (3) generalisatie naar nieuw geïntroduceerde modellen het meeste baat heeft bij gestructureerde profielen onder trainbare configuraties. Over het geheel genomen benadrukt ons werk het ontwerp van LLM-profielen als een belangrijke richting voor toekomstig routeringsonderzoek.

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.