SEAR: LLMゲートウェイのためのスキーマベース評価・ルーティング

要旨

大規模言語モデル（LLM）の応答評価およびLLMゲートウェイにおけるマルチプロバイダー間のリクエスト振り分けには、細粒度な品質シグナルと運用に根ざした判断が不可欠である。この課題に対処するため、我々はマルチモデル・マルチプロバイダーLLMゲートウェイ向けのスキーマベース評価・ルーティングシステム「SEAR」を提案する。SEARは、LLM評価シグナル（コンテキスト、意図、応答特性、問題帰属、品質スコア）とゲートウェイ運用指標（レイテンシ、コスト、スループット）を網羅する拡張可能なリレーショナルスキーマを定義し、約100の型付きSQLクエリ可能カラムに跨るテーブル間整合性リンクを備える。評価シグナルを確実に投入するため、SEARは自己完結型シグナル指示、スキーマ内推論、データベース直接投入可能な構造化出力を生成する多段階生成を採用する。シグナルが浅層分類器ではなくLLM推論により導出されるため、SEARは複雑なリクエスト意味を捕捉し、人間が解釈可能なルーティング説明を実現し、評価とルーティングを単一クエリ層に統合する。数千に及ぶ本番セッションでの検証により、SEARは人手ラベルデータで高いシグナル精度を達成し、品質を維持しつつコストを大幅削減するなど、実用的なルーティング判断を支援する。

English

Evaluating production LLM responses and routing requests across providers in LLM gateways requires fine-grained quality signals and operationally grounded decisions. To address this gap, we present SEAR, a schema-based evaluation and routing system for multi-model, multi-provider LLM gateways. SEAR defines an extensible relational schema covering both LLM evaluation signals (context, intent, response characteristics, issue attribution, and quality scores) and gateway operational metrics (latency, cost, throughput), with cross-table consistency links across around one hundred typed, SQL-queryable columns. To populate the evaluation signals reliably, SEAR proposes self-contained signal instructions, in-schema reasoning, and multi-stage generation that produces database-ready structured outputs. Because signals are derived through LLM reasoning rather than shallow classifiers, SEAR captures complex request semantics, enables human-interpretable routing explanations, and unifies evaluation and routing in a single query layer. Across thousands of production sessions, SEAR achieves strong signal accuracy on human-labeled data and supports practical routing decisions, including large cost reductions with comparable quality.

SEAR: LLMゲートウェイのためのスキーマベース評価・ルーティング

SEAR: Schema-Based Evaluation and Routing for LLM Gateways

要旨

Support