LLMRouter: LLM 라우터의 개발·평가·배포를 위한 통합 인프라

초록

단일 대규모 언어 모델(LLM)이 모든 쿼리와 예산 제약 조건에서 최적일 수는 없으므로, 비용 효율적인 배포를 위해서는 모델 라우팅이 필수적이다. 기존 라우터들은 다양한 정식화와 구현 방식을 채택하고 있어 공정한 비교와 확장이 어렵다. 우리는 LLM 라우팅을 다섯 가지 구성 요소, 즉 컨텍스트 인코더, 모델 인코더, 점수 함수, 결정 규칙, 학습 신호로 특징지어지는 순차적 의사 결정 과정으로 통합 정식화를 제시하며, 이는 단일 턴, 다중 턴 및 개인화 라우팅을 모두 포괄한다. 이 정식화에 기반하여, 우리는 라우팅 지도 신호를 구축하고 응답 품질과 추론 비용을 동시에 평가하는 자동화된 파이프라인을 개발한다. 그 결과로 만들어진 벤치마크인 xRouteBench는 일반 LLM, 메모리 증강, 비전, 시계열 및 개인화 라우팅 작업을 아우른다. 또한 우리는 16개 이상의 대표적인 라우터를 포함하는 오픈소스 모듈식 인프라인 LLMRouter를 소개한다. 실증 연구 결과, 학습된 라우터는 가장 강력한 고정 모델 기준선을 상대적으로 14.6% 능가하며, 경량 라우터는 엄격한 비용 제약 조건에서 더욱 경쟁력이 높아지고, 사용자 조건부 라우팅은 개인화를 일관되게 향상시킨다.

English

No single large language model (LLM) is optimal across all queries and budget constraints, making model routing essential for cost-effective deployment. Existing routers adopt diverse formulations and implementations, making fair comparison and extension difficult. We present a unified formulation of LLM routing as a sequential decision process characterized by five components: context encoders, model encoders, scoring functions, decision rules, and learning signals, covering single-turn, multi-turn, and personalized routing. Based on this formulation, we develop an automated pipeline for constructing routing supervision and evaluating routers jointly on response quality and inference cost. The resulting benchmark, xRouteBench, spans generic LLM, memory-augmented, vision, time-series, and personalized routing tasks. We further introduce LLMRouter, an open-source modular infrastructure with more than 16 representative routers. Our empirical study shows that learned routers outperform the strongest fixed-model baseline by 14.6% relatively, lightweight routers become more competitive under tight cost constraints, and user-conditioned routing consistently improves personalization.