SEAR : Évaluation et Routage Basés sur Schéma pour les Passerelles de LLM
SEAR: Schema-Based Evaluation and Routing for LLM Gateways
March 20, 2026
Auteurs: Zecheng Zhang, Han Zheng, Yue Xu
cs.AI
Résumé
L'évaluation des réponses des LLM en production et le routage des requêtes entre fournisseurs dans les passerelles LLM nécessitent des signaux de qualité granulaires et des décisions opérationnellement fondées. Pour combler cette lacune, nous présentons SEAR, un système d'évaluation et de routage basé sur un schéma pour les passerelles LLM multi-modèles et multi-fournisseurs. SEAR définit un schéma relationnel extensible couvrant à la fois les signaux d'évaluation des LLM (contexte, intention, caractéristiques de la réponse, attribution des problèmes et scores de qualité) et les métriques opérationnelles de la passerelle (latence, coût, débit), avec des liens de cohérence inter-tables sur environ une centaine de colonnes typées et interrogeables en SQL. Pour peupler de manière fiable les signaux d'évaluation, SEAR propose des instructions de signal autonomes, un raisonnement dans le schéma et une génération multi-étapes qui produit des sorties structurées prêtes pour la base de données. Parce que les signaux sont dérivés via un raisonnement LLM plutôt que par des classifieurs superficiels, SEAR capture la sémantique complexe des requêtes, permet des explications de routage interprétables par l'homme et unifie l'évaluation et le routage dans une seule couche de requête. Sur des milliers de sessions de production, SEAR atteint une forte précision des signaux sur des données annotées manuellement et prend en charge des décisions de routage pratiques, y compris des réductions importantes des coûts pour une qualité comparable.
English
Evaluating production LLM responses and routing requests across providers in LLM gateways requires fine-grained quality signals and operationally grounded decisions. To address this gap, we present SEAR, a schema-based evaluation and routing system for multi-model, multi-provider LLM gateways. SEAR defines an extensible relational schema covering both LLM evaluation signals (context, intent, response characteristics, issue attribution, and quality scores) and gateway operational metrics (latency, cost, throughput), with cross-table consistency links across around one hundred typed, SQL-queryable columns. To populate the evaluation signals reliably, SEAR proposes self-contained signal instructions, in-schema reasoning, and multi-stage generation that produces database-ready structured outputs. Because signals are derived through LLM reasoning rather than shallow classifiers, SEAR captures complex request semantics, enables human-interpretable routing explanations, and unifies evaluation and routing in a single query layer. Across thousands of production sessions, SEAR achieves strong signal accuracy on human-labeled data and supports practical routing decisions, including large cost reductions with comparable quality.