SEAR: Schema-basierte Evaluierung und Routing für LLM-Gateways

SEAR: Schema-Based Evaluation and Routing for LLM Gateways

March 20, 2026

Autoren: Zecheng Zhang, Han Zheng, Yue Xu

cs.AI

Zusammenfassung

Die Bewertung von Produktions-LLM-Antworten und das Routing von Anfragen über verschiedene Anbieter in LLM-Gateways erfordert feingranulare Qualitätssignale und operationell fundierte Entscheidungen. Um diese Lücke zu schließen, stellen wir SEAR vor, ein schema-basiertes Evaluierungs- und Routing-System für Multi-Model-, Multi-Provider-LLM-Gateways. SEAR definiert ein erweiterbares relationales Schema, das sowohl LLM-Evaluierungssignale (Kontext, Intent, Antwortcharakteristika, Problemattribuierung und Qualitätsbewertungen) als auch Gateway-Betriebskennzahlen (Latenz, Kosten, Durchsatz) abdeckt, mit konsistenten Querverweisen zwischen etwa hundert typisierten, per SQL abfragbaren Spalten. Um die Evaluierungssignale zuverlässig zu befüllen, schlägt SEAR eigenständige Signalinstruktionen, In-Schema-Logik und mehrstufige Generierung vor, die datenbankfertige strukturierte Ausgaben erzeugt. Da die Signale durch LLM-Schlussfolgerungen und nicht durch oberflächliche Klassifikatoren abgeleitet werden, erfasst SEAR komplexe Anfragesemantik, ermöglicht menscheninterpretierbare Routing-Erklärungen und vereint Evaluierung und Routing in einer einzigen Abfrageebene. In Tausenden von Produktionssitzungen erzielt SEAR eine hohe Signalgenauigkeit bei menschlich gelabelten Daten und unterstützt praktische Routing-Entscheidungen, einschließlich erheblicher Kostensenkungen bei vergleichbarer Qualität.

English

Evaluating production LLM responses and routing requests across providers in LLM gateways requires fine-grained quality signals and operationally grounded decisions. To address this gap, we present SEAR, a schema-based evaluation and routing system for multi-model, multi-provider LLM gateways. SEAR defines an extensible relational schema covering both LLM evaluation signals (context, intent, response characteristics, issue attribution, and quality scores) and gateway operational metrics (latency, cost, throughput), with cross-table consistency links across around one hundred typed, SQL-queryable columns. To populate the evaluation signals reliably, SEAR proposes self-contained signal instructions, in-schema reasoning, and multi-stage generation that produces database-ready structured outputs. Because signals are derived through LLM reasoning rather than shallow classifiers, SEAR captures complex request semantics, enables human-interpretable routing explanations, and unifies evaluation and routing in a single query layer. Across thousands of production sessions, SEAR achieves strong signal accuracy on human-labeled data and supports practical routing decisions, including large cost reductions with comparable quality.