RouteProfile: Прояснение пространства проектирования профилей LLM для маршрутизации

Аннотация

По мере расширения экосистемы больших языковых моделей (LLM) отдельные модели демонстрируют различные возможности при выполнении запросов, тестов и в различных областях, что стимулирует разработку маршрутизации больших языковых моделей. Хотя предыдущие работы в основном были сосредоточены на проектировании механизмов маршрутизации, профили больших языковых моделей, отражающие возможности моделей, остаются недостаточно изученными. В данной работе мы задаем вопрос: как проектирование профилей больших языковых моделей влияет на эффективность маршрутизации при использовании различных маршрутизаторов? Ответ на этот вопрос помогает прояснить роль профилей в маршрутизации, разделить проектирование профилей и проектирование маршрутизаторов, а также обеспечить более объективное сравнение и более принципиальную разработку систем маршрутизации. С этой целью мы рассматриваем профилирование больших языковых моделей как задачу структурированной интеграции информации на основе разнородных историй взаимодействия. Мы разрабатываем общее пространство проектирования профилей больших языковых моделей, названное RouteProfile, по четырем ключевым измерениям: организационная форма, тип представления, глубина агрегации и конфигурация обучения. Путем систематической оценки на трех репрезентативных маршрутизаторах в условиях как стандартной, так и обобщающей настройки для новых больших языковых моделей мы показываем, что: (1) структурированные профили последовательно превосходят плоские; (2) сигналы на уровне запросов более надежны, чем грубые сигналы на уровне областей; (3) обобщение на вновь введенные модели получает наибольшую выгоду от структурированных профилей в настраиваемых конфигурациях. В целом, наша работа подчеркивает важность проектирования профилей больших языковых моделей как перспективного направления будущих исследований маршрутизации.

English

As the large language model (LLM) ecosystem expands, individual models exhibit varying capabilities across queries, benchmarks, and domains, motivating the development of LLM routing. While prior work has largely focused on router mechanism design, LLM profiles, which capture model capabilities, remain underexplored. In this work, we ask: How does LLM profile design affect routing performance across different routers? Addressing this question helps clarify the role of profiles in routing, disentangle profile design from router design, and enable fairer comparison and more principled development of routing systems. To this end, we view LLM profiling as a structured information integration problem over heterogeneous interaction histories. We develop a general design space of LLM profiles, named RouteProfile, along four key dimensions: organizational form, representation type, aggregation depth, and learning configuration. Through systematic evaluation across three representative routers under both standard and new-LLM generalization settings, we show that: (1) structured profiles consistently outperform flat ones; (2) query-level signals are more reliable than coarse domain-level signals; and (3) generalization to newly introduced models benefits most from structured profiles under trainable configurations. Overall, our work highlights LLM profile design as an important direction for future routing research.