클러스터, 라우팅, 에스컬레이션: 비용 인식 LLM 서빙을 위한 캐스케이드 프레임워크

초록

대규모 언어 모델(LLM)을 프로덕션 환경에서 효율적으로 배포하려면 정확도와 비용 간의 절충이 필요하다. 운영자는 흔히 단일 모델을 기본값으로 사용하는데, 이는 간단한 쿼리에는 비용이 과도하게 들거나 어려운 쿼리에는 충분하지 못한 경우가 발생한다. 이러한 문제를 해결하기 위해, 본 연구는 2단계 계단식 솔루션을 제안한다. 1단계는 수신된 쿼리를 클러스터링하고 각 클러스터를 가장 비용 효율적인 모델에 할당한다. 이 라우팅 과정의 비용 예산은 오프라인에서 조정된 해석 가능한 하이퍼파라미터로 설정된다. 2단계는 품질 추정(QE) 계단식을 추가한다. 1단계의 출력이 낮은 품질로 판단되면, 해당 쿼리는 더 강력한 모델로 에스컬레이션된다. 이를 통해 어렵거나 신뢰도가 낮은 사례만 고비용 모델에 도달하게 된다. 테스트 데이터셋에서 계단식 시스템은 가장 강력한 모델의 정확도를 97~99% 유지하면서 출력 토큰당 시간(TPOT)을 절감한다. 이 시스템은 작업 정확도 레이블만 필요로 하며, 수동 재구성 없이 모델 풀의 변화에 적응한다.

English

Efficient deployment of large language models (LLMs) in production forces a trade-off between accuracy and cost. Operators often default to a single model that is either expensive for easy queries or insufficient for hard ones. To address this challenge, we propose a two-stage cascaded solution. Stage 1 clusters incoming queries and assigns each cluster to its most cost-effective model. The cost budget for this routing process is set by an interpretable hyperparameter, tuned offline. Stage 2 adds a quality estimation (QE) cascade; when an output from Stage 1 is judged low-quality, the query is escalated to a stronger model. This ensures only hard or low-confidence cases reach the expensive models. On the test datasets, the cascaded system retains 97-99% of the strongest model's accuracy while reducing Time Per Output Token (TPOT). It requires only task-correctness labels and adapts to changes in the model pool without manual reconfiguration.