Кластеризация, маршрутизация, эскалация: каскадная структура для обслуживания LLM с учетом затрат

Аннотация

Эффективное развертывание больших языковых моделей (LLM) в производственной среде вынуждает искать компромисс между точностью и стоимостью. Операторы часто полагаются на единственную модель, которая оказывается либо дорогой для простых запросов, либо недостаточно эффективной для сложных. Для решения этой задачи мы предлагаем двухэтапное каскадное решение. На этапе 1 входящие запросы кластеризуются, и каждый кластер назначается на наиболее экономичную модель. Бюджет стоимости для этого процесса маршрутизации задается с помощью интерпретируемого гиперпараметра, настраиваемого в автономном режиме. На этапе 2 добавляется каскад оценки качества (QE); когда выходные данные этапа 1 признаются низкокачественными, запрос передается на более мощную модель. Это гарантирует, что только сложные или низкоуверенные случаи будут направляться на дорогостоящие модели. На тестовых наборах данных каскадная система сохраняет 97–99% точности самой мощной модели, одновременно сокращая время на выходной токен (TPOT). Она требует только меток правильности выполнения задачи и адаптируется к изменениям в пуле моделей без ручной перенастройки.

English

Efficient deployment of large language models (LLMs) in production forces a trade-off between accuracy and cost. Operators often default to a single model that is either expensive for easy queries or insufficient for hard ones. To address this challenge, we propose a two-stage cascaded solution. Stage 1 clusters incoming queries and assigns each cluster to its most cost-effective model. The cost budget for this routing process is set by an interpretable hyperparameter, tuned offline. Stage 2 adds a quality estimation (QE) cascade; when an output from Stage 1 is judged low-quality, the query is escalated to a stronger model. This ensures only hard or low-confidence cases reach the expensive models. On the test datasets, the cascaded system retains 97-99% of the strongest model's accuracy while reducing Time Per Output Token (TPOT). It requires only task-correctness labels and adapts to changes in the model pool without manual reconfiguration.