Динамическая маршрутизация и каскадирование моделей для эффективного вывода больших языковых моделей: обзор
Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey
February 23, 2026
Авторы: Yasmin Moslem, John D. Kelleher
cs.AI
Аннотация
Быстрое развитие больших языковых моделей (LLM) с разнообразными возможностями, стоимостью и областями применения создало острую потребность в интеллектуальном выборе моделей во время инференса. В то время как для рутинных запросов достаточно небольших моделей, сложные задачи требуют более мощных моделей. Однако статическое развертывание моделей не учитывает сложность и предметную область входящих запросов, что приводит к неоптимальной производительности и росту затрат. Динамические системы маршрутизации, которые адаптивно выбирают модели на основе характеристик запроса, появились как решение этой проблемы.
Мы представляем систематический анализ современных подходов к маршрутизации и каскадированию множества LLM. В отличие от архитектур типа «смесь экспертов», где маршрутизация происходит внутри одной модели, мы изучаем маршрутизацию между множеством независимо обученных LLM. Мы рассматриваем различные парадигмы маршрутизации, включая оценку сложности запроса, человеческие предпочтения, кластеризацию, количественную оценку неопределенности, обучение с подкреплением, мультимодальность и каскадирование. Для каждой парадигмы мы анализируем репрезентативные методы и исследуем ключевые компромиссы. Помимо таксономии, мы вводим концептуальную основу, которая характеризует системы маршрутизации по трем измерениям: *когда* принимаются решения, *какая информация* используется и *как* они вычисляются. Этот подход подчеркивает, что практические системы часто являются композиционными, объединяя несколько парадигм в рамках операционных ограничений.
Наш анализ демонстрирует, что эффективная маршрутизация между несколькими LLM требует балансировки конкурирующих целей. Выбор оптимальной стратегии маршрутизации зависит от ограничений развертывания и вычислительных ресурсов. Грамотно спроектированные системы маршрутизации могут превзойти даже самые мощные одиночные модели за счет стратегического использования специализированных возможностей разных моделей при одновременной максимизации выигрыша в эффективности. В то же время остаются открытые проблемы в разработке механизмов маршрутизации, которые обобщаются на разнообразные архитектуры, модальности и приложения.
English
The rapid growth of large language models (LLMs) with diverse capabilities, costs, and domains has created a critical need for intelligent model selection at inference time. While smaller models suffice for routine queries, complex tasks demand more capable models. However, static model deployment does not account for the complexity and domain of incoming queries, leading to suboptimal performance and increased costs. Dynamic routing systems that adaptively select models based on query characteristics have emerged as a solution to this challenge.
We provide a systematic analysis of state-of-the-art multi-LLM routing and cascading approaches. In contrast to mixture-of-experts architectures, which route within a single model, we study routing across multiple independently trained LLMs. We cover diverse routing paradigms, including query difficulty, human preferences, clustering, uncertainty quantification, reinforcement learning, multimodality, and cascading. For each paradigm, we analyze representative methods and examine key trade-offs. Beyond taxonomy, we introduce a conceptual framework that characterizes routing systems along three dimensions: when decisions are made, what information is used, and how they are computed. This perspective highlights that practical systems are often compositional, integrating multiple paradigms under operational constraints.
Our analysis demonstrates that effective multi-LLM routing requires balancing competing objectives. Choosing the optimal routing strategy depends on deployment and computational constraints. Well-designed routing systems can outperform even the most powerful individual models by strategically leveraging specialized capabilities across models while maximizing efficiency gains. Meanwhile, open challenges remain in developing routing mechanisms that generalize across diverse architectures, modalities, and applications.