Dynamisches Modell-Routing und Kaskadierung für effiziente LLM-Inferenz: Ein Überblick

Dynamic Model Routing and Cascading for Efficient LLM Inference: A Survey

February 23, 2026

Autoren: Yasmin Moslem, John D. Kelleher

cs.AI

Zusammenfassung

Das rasante Wachstum großer Sprachmodelle (LLMs) mit unterschiedlichen Fähigkeiten, Kosten und Domänen hat einen kritischen Bedarf an intelligenter Modellauswahl zur Inferenzzeit geschaffen. Während kleinere Modelle für Routineanfragen ausreichen, erfordern komplexe Aufgaben leistungsfähigere Modelle. Statische Modellbereitstellungen berücksichtigen jedoch weder die Komplexität noch die Domäne eingehender Anfragen, was zu suboptimaler Leistung und höheren Kosten führt. Dynamische Routing-Systeme, die Modelle adaptiv basierend auf Anfragemerkmalen auswählen, haben sich als Lösung für diese Herausforderung etabliert. Wir bieten eine systematische Analyse modernster Multi-LLM-Routing- und Kaskadierungsansätze. Im Gegensatz zu Mixture-of-Experts-Architekturen, die innerhalb eines einzelnen Modells routen, untersuchen wir das Routing über mehrere unabhängig trainierte LLMs hinweg. Wir behandeln diverse Routing-Paradigmen, einschließlich Anfrageschwierigkeit, menschliche Präferenzen, Clustering, Unsicherheitsquantifizierung, bestärkendes Lernen, Multimodalität und Kaskadierung. Für jedes Paradigma analysieren wir repräsentative Methoden und untersuchen zentrale Zielkonflikte. Über die Taxonomie hinaus führen wir ein konzeptionelles Rahmenwerk ein, das Routing-Systeme entlang drei Dimensionen charakterisiert: wann Entscheidungen getroffen werden, welche Informationen genutzt werden und wie sie berechnet werden. Diese Perspektive verdeutlicht, dass praktische Systeme oft kompositionell sind und mehrere Paradigmen unter Betriebsbedingungen integrieren. Unsere Analyse zeigt, dass effektives Multi-LLM-Routing den Ausgleich konkurrierender Ziele erfordert. Die Wahl der optimalen Routing-Strategie hängt von Bereitstellungs- und Rechenbeschränkungen ab. Gut gestaltete Routing-Systeme können selbst die leistungsfähigsten Einzelmodelle übertreffen, indem sie spezialisierte Fähigkeiten über Modelle hinweg strategisch nutzen und Effizienzgewinne maximieren. Gleichzeitig bestehen weiterhin offene Herausforderungen bei der Entwicklung von Routing-Mechanismen, die über verschiedene Architekturen, Modalitäten und Anwendungen hinweg generalisieren.

English

The rapid growth of large language models (LLMs) with diverse capabilities, costs, and domains has created a critical need for intelligent model selection at inference time. While smaller models suffice for routine queries, complex tasks demand more capable models. However, static model deployment does not account for the complexity and domain of incoming queries, leading to suboptimal performance and increased costs. Dynamic routing systems that adaptively select models based on query characteristics have emerged as a solution to this challenge. We provide a systematic analysis of state-of-the-art multi-LLM routing and cascading approaches. In contrast to mixture-of-experts architectures, which route within a single model, we study routing across multiple independently trained LLMs. We cover diverse routing paradigms, including query difficulty, human preferences, clustering, uncertainty quantification, reinforcement learning, multimodality, and cascading. For each paradigm, we analyze representative methods and examine key trade-offs. Beyond taxonomy, we introduce a conceptual framework that characterizes routing systems along three dimensions: when decisions are made, what information is used, and how they are computed. This perspective highlights that practical systems are often compositional, integrating multiple paradigms under operational constraints. Our analysis demonstrates that effective multi-LLM routing requires balancing competing objectives. Choosing the optimal routing strategy depends on deployment and computational constraints. Well-designed routing systems can outperform even the most powerful individual models by strategically leveraging specialized capabilities across models while maximizing efficiency gains. Meanwhile, open challenges remain in developing routing mechanisms that generalize across diverse architectures, modalities, and applications.