LLMRouter: LLMルーターの開発、評価、デプロイのための統合基盤

要旨

単一の大規模言語モデル（LLM）が、すべてのクエリと予算制約に対して最適であるとは限らないため、コスト効果の高いデプロイにはモデルルーティングが不可欠である。既存のルーターは多様な定式化と実装を採用しており、公平な比較や拡張が困難である。本稿では、LLMルーティングを、文脈エンコーダ、モデルエンコーダ、スコアリング関数、決定規則、学習シグナルの5つの構成要素によって特徴づけられる逐次決定過程として統一的に定式化する。この定式化は、単一ターン、複数ターン、およびパーソナライズドルーティングを網羅する。この定式化に基づき、ルーティングの教師信号を構築し、応答品質と推論コストの両方でルーターを共同評価するための自動化パイプラインを開発する。得られたベンチマークであるxRouteBenchは、汎用LLM、メモリ拡張、ビジョン、時系列、およびパーソナライズドルーティングのタスクを対象とする。さらに、16以上の代表的なルーターを備えたオープンソースのモジュール式インフラストラクチャであるLLMRouterを導入する。我々の実証研究は、学習ベースのルーターが最も強力な固定モデルベースラインを相対的に14.6%上回ること、軽量ルーターが厳しいコスト制約下でより競争力を持つこと、そしてユーザー条件付きルーティングが一貫してパーソナライゼーションを改善することを示している。

English

No single large language model (LLM) is optimal across all queries and budget constraints, making model routing essential for cost-effective deployment. Existing routers adopt diverse formulations and implementations, making fair comparison and extension difficult. We present a unified formulation of LLM routing as a sequential decision process characterized by five components: context encoders, model encoders, scoring functions, decision rules, and learning signals, covering single-turn, multi-turn, and personalized routing. Based on this formulation, we develop an automated pipeline for constructing routing supervision and evaluating routers jointly on response quality and inference cost. The resulting benchmark, xRouteBench, spans generic LLM, memory-augmented, vision, time-series, and personalized routing tasks. We further introduce LLMRouter, an open-source modular infrastructure with more than 16 representative routers. Our empirical study shows that learned routers outperform the strongest fixed-model baseline by 14.6% relatively, lightweight routers become more competitive under tight cost constraints, and user-conditioned routing consistently improves personalization.