RouteProfile: 라우팅을 위한 LLM 프로필의 설계 공간 규명

초록

대규모 언어 모델(LLM) 생태계가 확장됨에 따라 개별 모델들은 쿼리, 벤치마크, 도메인에 걸쳐 다양한 능력을 보여주며, 이는 LLM 라우팅 개발의 동기가 되고 있다. 기존 연구는 주로 라우터 메커니즘 설계에 집중해 왔으나, 모델 능력을 포착하는 LLM 프로필은 여전히 충분히 탐구되지 않았다. 본 연구에서는 다음과 같은 질문을 제기한다: LLM 프로필 설계가 다양한 라우터에서의 라우팅 성능에 어떤 영향을 미치는가? 이 질문에 답함으로써 라우팅에서 프로필의 역할을 명확히 하고, 프로필 설계와 라우터 설계를 분리하며, 라우팅 시스템의 공정한 비교와 보다 원칙적인 개발을 가능하게 한다. 이를 위해 우리는 LLM 프로파일링을 이질적인 상호작용 이력에 대한 구조화된 정보 통합 문제로 간주한다. 우리는 RouteProfile이라는 LLM 프로필의 일반적인 설계 공간을 조직 형태, 표현 유형, 집계 깊이, 학습 구성의 네 가지 주요 차원을 따라 개발한다. 세 가지 대표적인 라우터를 대상으로 표준 설정과 새로운 LLM 일반화 설정 모두에서 체계적인 평가를 수행한 결과, (1) 구조화된 프로필이 평면형 프로필보다 일관되게 우수하며, (2) 쿼리 수준 신호가 조잡한 도메인 수준 신호보다 더 신뢰할 수 있고, (3) 새로 도입된 모델로의 일반화는 학습 가능한 구성에서 구조화된 프로필이 가장 큰 이점을 제공함을 보여준다. 종합적으로, 본 연구는 LLM 프로필 설계가 향후 라우팅 연구에서 중요한 방향임을 강조한다.

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.