RouteProfile：ルーティングのためのLLMプロファイルの設計空間の解明

要旨

大規模言語モデル（LLM）のエコシステムが拡大するにつれ、個々のモデルはクエリ、ベンチマーク、ドメインにわたって異なる能力を示すようになり、LLMルーティングの開発が促進されている。従来の研究は主にルータ機構の設計に焦点を当ててきたが、モデルの能力を捉えるLLMプロファイルは未だ十分に検討されていない。本研究では、LLMプロファイルの設計が異なるルータ間でのルーティング性能にどのように影響するのかを問う。この問いに取り組むことで、ルーティングにおけるプロファイルの役割を明確化し、プロファイル設計とルータ設計を分離し、ルーティングシステムのより公平な比較と原理的な開発を可能にする。この目的のため、我々はLLMプロファイリングを異種の相互作用履歴にわたる構造化情報統合問題として捉える。そして、LLMプロファイルの一般設計空間であるRouteProfileを、組織形式、表現タイプ、集約深度、学習構成という4つの主要次元に沿って開発する。標準設定および新規LLM汎化設定の両方において、3つの代表的なルータを対象とした系統的評価を通じて、以下を示す。（1）構造化プロファイルは非構造化プロファイルよりも一貫して優れている、（2）クエリレベルの信号は粗いドメインレベルの信号よりも信頼性が高い、（3）新たに導入されたモデルへの汎化には、学習可能な構成下での構造化プロファイルが最も有効である。全体として、本研究はLLMプロファイル設計を将来のルーティング研究における重要な方向性として強調する。

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.