SEAR: Schema-gebaseerde Evaluatie en Routering voor LLM-gateways
SEAR: Schema-Based Evaluation and Routing for LLM Gateways
March 20, 2026
Auteurs: Zecheng Zhang, Han Zheng, Yue Xu
cs.AI
Samenvatting
Het evalueren van productie-LLM-responses en het routeren van verzoeken tussen verschillende aanbieders in LLM-gateways vereist gedetailleerde kwaliteitssignalen en operationeel onderbouwde beslissingen. Om deze leemte op te vullen, presenteren we SEAR, een op schema's gebaseerd evaluatie- en routeringssysteem voor multi-model, multi-provider LLM-gateways. SEAR definieert een uitbreidbaar relationeel schema dat zowel LLM-evaluatiesignalen omvat (context, intentie, responskenmerken, probleemtoewijzing en kwaliteitsscores) als gateway-operationele metrieken (latentie, kosten, doorvoer), met kruistabel-consistentieverbindingen over ongeveer honderd getypeerde, SQL-querybare kolommen. Om de evaluatiesignalen betrouwbaar in te vullen, stelt SEAR zelfstandige signaalinstructies, redenering in het schema en meertrapsgeneratie voor die gestructureerde, database-klare uitvoer produceert. Omdat signalen worden afgeleid via LLM-redenering in plaats van oppervlakkige classificatoren, vangt SEAR complexe verzoek semantiek af, maakt het menselijk interpreteerbare routeringsverklaringen mogelijk en verenigt het evaluatie en routering in een enkele querylaag. Over duizenden productiesessies bereikt SEAR een hoge signaalmauwkeurigheid op door mensen gelabelde gegevens en ondersteunt het praktische routeringsbeslissingen, inclusief aanzienlijke kostenverlagingen bij vergelijkbare kwaliteit.
English
Evaluating production LLM responses and routing requests across providers in LLM gateways requires fine-grained quality signals and operationally grounded decisions. To address this gap, we present SEAR, a schema-based evaluation and routing system for multi-model, multi-provider LLM gateways. SEAR defines an extensible relational schema covering both LLM evaluation signals (context, intent, response characteristics, issue attribution, and quality scores) and gateway operational metrics (latency, cost, throughput), with cross-table consistency links across around one hundred typed, SQL-queryable columns. To populate the evaluation signals reliably, SEAR proposes self-contained signal instructions, in-schema reasoning, and multi-stage generation that produces database-ready structured outputs. Because signals are derived through LLM reasoning rather than shallow classifiers, SEAR captures complex request semantics, enables human-interpretable routing explanations, and unifies evaluation and routing in a single query layer. Across thousands of production sessions, SEAR achieves strong signal accuracy on human-labeled data and supports practical routing decisions, including large cost reductions with comparable quality.