SEAR: Avaliação e Roteamento Baseados em Esquema para Gateways de LLM

SEAR: Schema-Based Evaluation and Routing for LLM Gateways

March 20, 2026

Autores: Zecheng Zhang, Han Zheng, Yue Xu

cs.AI

Resumo

A avaliação de respostas de LLMs de produção e o roteamento de solicitações entre provedores em gateways de LLM exigem sinais de qualidade granulares e decisões operacionalmente fundamentadas. Para preencher essa lacuna, apresentamos o SEAR, um sistema de avaliação e roteamento baseado em esquema para gateways de LLM multi-modelo e multi-provedor. O SEAR define um esquema relacional extensível que abrange tanto sinais de avaliação de LLM (contexto, intenção, características da resposta, atribuição de problemas e pontuações de qualidade) quanto métricas operacionais do gateway (latência, custo, vazão), com links de consistência entre tabelas em aproximadamente cem colunas tipadas e consultáveis via SQL. Para preencher os sinais de avaliação de forma confiável, o SEAR propõe instruções de sinal autônomas, raciocínio no esquema e geração em múltiplos estágios que produz saídas estruturadas prontas para o banco de dados. Como os sinais são derivados por meio de raciocínio de LLM em vez de classificadores superficiais, o SEAR captura semânticas complexas da solicitação, permite explicações de roteamento interpretáveis por humanos e unifica a avaliação e o roteamento em uma única camada de consulta. Em milhares de sessões de produção, o SEAR alcança alta precisão de sinal em dados rotulados por humanos e suporta decisões práticas de roteamento, incluindo grandes reduções de custo com qualidade comparável.

English

Evaluating production LLM responses and routing requests across providers in LLM gateways requires fine-grained quality signals and operationally grounded decisions. To address this gap, we present SEAR, a schema-based evaluation and routing system for multi-model, multi-provider LLM gateways. SEAR defines an extensible relational schema covering both LLM evaluation signals (context, intent, response characteristics, issue attribution, and quality scores) and gateway operational metrics (latency, cost, throughput), with cross-table consistency links across around one hundred typed, SQL-queryable columns. To populate the evaluation signals reliably, SEAR proposes self-contained signal instructions, in-schema reasoning, and multi-stage generation that produces database-ready structured outputs. Because signals are derived through LLM reasoning rather than shallow classifiers, SEAR captures complex request semantics, enables human-interpretable routing explanations, and unifies evaluation and routing in a single query layer. Across thousands of production sessions, SEAR achieves strong signal accuracy on human-labeled data and supports practical routing decisions, including large cost reductions with comparable quality.