SEAR: Valutazione e Instradamento Basati su Schema per Gateway di LLM
SEAR: Schema-Based Evaluation and Routing for LLM Gateways
March 20, 2026
Autori: Zecheng Zhang, Han Zheng, Yue Xu
cs.AI
Abstract
La valutazione delle risposte dei modelli linguistici di grandi dimensioni (LLM) in produzione e l'instradamento delle richieste tra diversi provider nei gateway LLM richiedono segnali di qualità granulari e decisioni operative fondate. Per colmare questa lacuna, presentiamo SEAR, un sistema di valutazione e instradamento basato su schema per gateway LLM multi-modello e multi-fornitore. SEAR definisce uno schema relazionale estensibile che copre sia i segnali di valutazione degli LLM (contesto, intento, caratteristiche della risposta, attribuzione dei problemi e punteggi di qualità) che le metriche operative del gateway (latenza, costo, velocità di elaborazione), con collegamenti di consistenza tra tabelle attraverso circa un centinaio di colonne tipizzate e interrogabili via SQL. Per popolare in modo affidabile i segnali di valutazione, SEAR propone istruzioni di segnale autonome, ragionamento interno allo schema e generazione multi-stadio che produce output strutturati pronti per il database. Poiché i segnali sono derivati attraverso il ragionamento degli LLM anziché classificatori superficiali, SEAR cattura la semantica complessa delle richieste, consente spiegazioni di instradamento interpretabili dall'uomo e unifica valutazione e instradamento in un unico livello di query. In migliaia di sessioni di produzione, SEAR raggiunge un'elevata accuratezza dei segnali su dati etichettati dall'uomo e supporta decisioni pratiche di instradamento, inclusa una significativa riduzione dei costi a parità di qualità.
English
Evaluating production LLM responses and routing requests across providers in LLM gateways requires fine-grained quality signals and operationally grounded decisions. To address this gap, we present SEAR, a schema-based evaluation and routing system for multi-model, multi-provider LLM gateways. SEAR defines an extensible relational schema covering both LLM evaluation signals (context, intent, response characteristics, issue attribution, and quality scores) and gateway operational metrics (latency, cost, throughput), with cross-table consistency links across around one hundred typed, SQL-queryable columns. To populate the evaluation signals reliably, SEAR proposes self-contained signal instructions, in-schema reasoning, and multi-stage generation that produces database-ready structured outputs. Because signals are derived through LLM reasoning rather than shallow classifiers, SEAR captures complex request semantics, enables human-interpretable routing explanations, and unifies evaluation and routing in a single query layer. Across thousands of production sessions, SEAR achieves strong signal accuracy on human-labeled data and supports practical routing decisions, including large cost reductions with comparable quality.