Cluster, Routen, Eskalieren: Kaskadiertes Framework für kostenbewusstes LLM-Serving
Cluster, Route, Escalate: Cascaded Framework for Cost-Aware LLM Serving
June 25, 2026
Autoren: Yasmin Moslem, Magdalena Kacmajor, Vasudevan Nedumpozhimana, Ammar Abbas, Solmaz Panahi, David Lynch, Zhuangzhuang Nie, Alexandros Agapitos, Aleksandar Milenovic, Hongmeng Song, Yucheng Shi, Yue Pan, Patricia Buffini, John D. Kelleher
cs.AI
Zusammenfassung
Der effiziente Einsatz großer Sprachmodelle (LLMs) in der Produktion erzwingt einen Kompromiss zwischen Genauigkeit und Kosten. Betreiber greifen oft auf ein einzelnes Modell zurück, das entweder für einfache Anfragen zu teuer oder für schwierige unzureichend ist. Um dieser Herausforderung zu begegnen, schlagen wir eine zweistufige kaskadierte Lösung vor. Stufe 1 clustert eingehende Anfragen und weist jedem Cluster sein kosteneffektivstes Modell zu. Das Kostenbudget für diesen Routing-Prozess wird durch einen interpretierbaren Hyperparameter festgelegt, der offline abgestimmt wird. Stufe 2 fügt eine Qualitätsschätzungskaskade (QE-Kaskade) hinzu; wenn eine Ausgabe von Stufe 1 als minderwertig eingestuft wird, wird die Anfrage an ein stärkeres Modell weitergeleitet. Dadurch wird sichergestellt, dass nur schwierige oder unsichere Fälle die teuren Modelle erreichen. In den Testdatensätzen behält das kaskadierte System 97-99 % der Genauigkeit des stärksten Modells bei, während es die Zeit pro Ausgabetoken (TPOT) reduziert. Es benötigt lediglich Aufgabenkorrektheitskennzeichnungen und passt sich Änderungen im Modellpool an, ohne manuelle Neukonfiguration.
English
Efficient deployment of large language models (LLMs) in production forces a trade-off between accuracy and cost. Operators often default to a single model that is either expensive for easy queries or insufficient for hard ones. To address this challenge, we propose a two-stage cascaded solution. Stage 1 clusters incoming queries and assigns each cluster to its most cost-effective model. The cost budget for this routing process is set by an interpretable hyperparameter, tuned offline. Stage 2 adds a quality estimation (QE) cascade; when an output from Stage 1 is judged low-quality, the query is escalated to a stronger model. This ensures only hard or low-confidence cases reach the expensive models. On the test datasets, the cascaded system retains 97-99% of the strongest model's accuracy while reducing Time Per Output Token (TPOT). It requires only task-correctness labels and adapts to changes in the model pool without manual reconfiguration.