予測駆動推論による統計的に信頼できるLLMベースのランキング評価

要旨

PRECISEでは、予測駆動推論（Prediction-Powered Inference）を拡張し、少数の人間ラベル付きデータセットと大規模なLLM判定データセットを組み合わせることで、ランキング評価指標のバイアス補正推定値を生成する。PPIは、LLM判定器の誤差プロファイルに関係なく、証明可能な不偏性を持つ。アノテーションが文書単位である一方、指標がクエリ単位であるPrecision@Kのような階層的指標に適用可能とするため、出力空間の計算量をO(2^|C|)からO(2^K)に削減した。ESCIベンチマークでは、30件の人間アノテーションにClaude 3 Sonnetの判定を追加することで、Precision@4推定値の標準誤差が4.45から3.50へと低下し（相対減少率21％）、これを実証した。プロダクションシステムでは、本フレームワークが100件の人間ラベルと2時間のドメイン専門家アノテーションから、3つのシステムバリアントの中から最良のものを正確に特定した。A/Bテストにより、この順位が日次売上高で+407ベーシスポイントの向上とともに確認された。

English

With PRECISE, we extended Prediction-Powered Inference to produce bias-corrected estimates of ranking evaluation metrics by combining a small human-labeled set with a large LLM-judged set. PPI is provably unbiased regardless of the LLM judge's error profile. We make it applicable to hierarchical metrics like Precision@K, where annotations are per-document but the metric is per-query, by reducing the output-space computation from O(2^|C|) to O(2^K). On the ESCI benchmark, augmenting 30 human annotations with Claude 3 Sonnet judgments reduces the standard error of Precision@4 estimates from 4.45 to 3.50 (a 21% relative reduction). In a production system, our framework correctly identified the best of three system variants from 100 human labels and 2 hours of domain-expert annotation; A/B testing confirmed this ranking with +407 bps in daily sales.