RouteProfile: Erläuterung des Designraums von LLM-Profilen für das Routing

Zusammenfassung

Da das Ökosystem großer Sprachmodelle (LLMs) wächst, zeigen einzelne Modelle unterschiedliche Fähigkeiten in Bezug auf Abfragen, Benchmarks und Domänen, was die Entwicklung von LLM-Routing motiviert. Während sich frühere Arbeiten weitgehend auf das Design von Router-Mechanismen konzentriert haben, sind LLM-Profile, die die Fähigkeiten von Modellen erfassen, noch wenig erforscht. In dieser Arbeit fragen wir: Wie wirkt sich das Design von LLM-Profilen auf die Routing-Leistung über verschiedene Router hinweg aus? Die Beantwortung dieser Frage hilft, die Rolle von Profilen beim Routing zu klären, das Profildesign vom Router-Design zu entkoppeln und einen faireren Vergleich sowie eine prinzipientreue Entwicklung von Routing-Systemen zu ermöglichen. Zu diesem Zweck betrachten wir LLM-Profiling als ein Problem der strukturierten Informationsintegration über heterogene Interaktionsverläufe hinweg. Wir entwickeln einen allgemeinen Designraum für LLM-Profile, genannt RouteProfile, entlang vier Schlüsseldimensionen: Organisationsform, Repräsentationstyp, Aggregationstiefe und Lernkonfiguration. Durch systematische Evaluierung über drei repräsentative Router hinweg, sowohl unter Standard- als auch unter Generalisierungseinstellungen für neue LLMs, zeigen wir, dass: (1) strukturierte Profile durchweg besser abschneiden als flache; (2) Abfrageebenen-Signale zuverlässiger sind als grobe Domänenebenen-Signale; und (3) die Generalisierung auf neu eingeführte Modelle am meisten von strukturierten Profilen unter trainierbaren Konfigurationen profitiert. Insgesamt hebt unsere Arbeit das Design von LLM-Profilen als wichtige Richtung für zukünftige Routing-Forschung hervor.

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.