Agrupar, Enrutar, Escalar: Marco en Cascada para el Servicio de LLM Consciente del Costo

Resumen

El despliegue eficiente de modelos de lenguaje grandes (LLMs) en producción implica un equilibrio entre precisión y costo. Los operadores suelen optar por un único modelo que resulta costoso para consultas sencillas o insuficiente para las difíciles. Para abordar este desafío, proponemos una solución en cascada de dos etapas. La Etapa 1 agrupa las consultas entrantes y asigna cada grupo a su modelo más rentable. El presupuesto de costo para este proceso de enrutamiento se define mediante un hiperparámetro interpretable, ajustado fuera de línea. La Etapa 2 añade una cascada de estimación de calidad (QE); cuando una salida de la Etapa 1 se considera de baja calidad, la consulta se eleva a un modelo más fuerte. Esto asegura que solo los casos difíciles o de baja confianza lleguen a los modelos costosos. En los conjuntos de datos de prueba, el sistema en cascada retiene entre el 97% y el 99% de la precisión del modelo más fuerte, mientras reduce el Tiempo por Token de Salida (TPOT). Requiere únicamente etiquetas de corrección de tareas y se adapta a cambios en el conjunto de modelos sin necesidad de reconfiguración manual.

English

Efficient deployment of large language models (LLMs) in production forces a trade-off between accuracy and cost. Operators often default to a single model that is either expensive for easy queries or insufficient for hard ones. To address this challenge, we propose a two-stage cascaded solution. Stage 1 clusters incoming queries and assigns each cluster to its most cost-effective model. The cost budget for this routing process is set by an interpretable hyperparameter, tuned offline. Stage 2 adds a quality estimation (QE) cascade; when an output from Stage 1 is judged low-quality, the query is escalated to a stronger model. This ensures only hard or low-confidence cases reach the expensive models. On the test datasets, the cascaded system retains 97-99% of the strongest model's accuracy while reducing Time Per Output Token (TPOT). It requires only task-correctness labels and adapts to changes in the model pool without manual reconfiguration.