Cluster, Route, Escalate : Cadre en cascade pour un service LLM sensible au coût

Résumé

Le déploiement efficace de grands modèles de langage (LLM) en production impose un compromis entre exactitude et coût. Les opérateurs optent souvent par défaut pour un modèle unique, soit coûteux pour les requêtes simples, soit insuffisant pour les requêtes difficiles. Pour relever ce défi, nous proposons une solution en cascade à deux étages. L'Étape 1 regroupe les requêtes entrantes et attribue chaque groupe à son modèle le plus rentable. Le budget de coût de ce processus d'acheminement est défini par un hyperparamètre interprétable, réglé hors ligne. L'Étape 2 ajoute une cascade d'estimation de la qualité (QE) ; lorsqu'une sortie de l'Étape 1 est jugée de faible qualité, la requête est transmise à un modèle plus puissant. Cela garantit que seuls les cas difficiles ou de faible confiance atteignent les modèles coûteux. Sur les jeux de données de test, le système en cascade conserve 97 à 99 % de l'exactitude du modèle le plus puissant tout en réduisant le Temps par Jeton de Sortie (TPOT). Il ne nécessite que des étiquettes de correction de tâche et s'adapte aux modifications du pool de modèles sans reconfiguration manuelle.

English

Efficient deployment of large language models (LLMs) in production forces a trade-off between accuracy and cost. Operators often default to a single model that is either expensive for easy queries or insufficient for hard ones. To address this challenge, we propose a two-stage cascaded solution. Stage 1 clusters incoming queries and assigns each cluster to its most cost-effective model. The cost budget for this routing process is set by an interpretable hyperparameter, tuned offline. Stage 2 adds a quality estimation (QE) cascade; when an output from Stage 1 is judged low-quality, the query is escalated to a stronger model. This ensures only hard or low-confidence cases reach the expensive models. On the test datasets, the cascaded system retains 97-99% of the strongest model's accuracy while reducing Time Per Output Token (TPOT). It requires only task-correctness labels and adapts to changes in the model pool without manual reconfiguration.