評価者のコード化：プログラム蒸留によるスケーラブルな評価

要旨

LLM-as-a-judge（LLMを判定者とする手法）は自動評価の標準となっているが、高コスト、大きな遅延、不透明な判断といった問題を抱えており、これらの限界がそのスケーラビリティと信頼性を損なっている。我々はこれらの問題に対して、シンプルかつ効率的な代替手法であるプログラム蒸留（program distillation）を提案する。評価時にLLMにプロンプトを与える代わりに、その判定ロジックを、候補を直接スコアリングするプログラムの委員会（committee）へと蒸留する。これらのプログラム的判定者は透明性を提供し、容易に検査・編集可能であり、サンプルごとのAPIコストを排除する。この概念に基づき、我々はPAJAMAを導入する。これは、プログラムを判定者として合成し、それらの判断を統合して共同判定を下し、低信頼度のケースを選択的にLLMにエスカレーションするフォールバック機構を組み込んだシステムである。5つのデータセットと4つのモデルファミリーにわたって、プログラム的判定者が13BサイズのLLM判定者と同等の性能を達成できることを示す。プログラム出力をルーティング信号として使用する場合、PAJAMAは精度とスループットの両方を向上させ、パレートフロンティアを前進させる。評価を超えて、プログラム的判定者は安価で効果的な報酬信号を生成する。RewardBenchにおいて、プログラムの判定から蒸留された報酬モデルは、プロプライエタリなLLMのラベルで訓練されたモデルよりも2桁低いAPIコストで優れた性能を示す。

English

LLM-as-a-judge has become the standard for automated evaluation, but it suffers from high cost, significant latency, and opaque decisions -- limitations that undermine its scalability and reliability. We address these with a simple, efficient alternative: program distillation. Instead of prompting an LLM at the evaluation time, we distill its decision logic into a committee of programs that score candidates directly. These programmatic judges offer transparency, are easily inspected or edited, and eliminate per-sample API costs. Building on this notion, we introduce PAJAMA, a system that synthesizes programs as judges, aggregates their decisions into a joint verdict, and incorporates a fallback mechanism to selectively escalate low-confidence cases to an LLM. Across five datasets and four model families, we show that programmatic judges can match the performance of a 13B-size LLM judge. When using program outputs as routing signals, PAJAMA improves both accuracy and throughput and advances the Pareto frontier. Beyond evaluation, programmatic judges produce cheap and effective reward signals: on RewardBench, a reward model distilled from programs' verdicts outperforms one trained on a proprietary LLM's labels at two orders of magnitude lower API cost.