판사 코드화: 프로그램 증류를 통한 확장 가능한 평가

초록

LLM-심판(LLM-as-a-judge)은 자동 평가의 표준으로 자리 잡았지만, 높은 비용, 상당한 지연 시간, 불투명한 결정이라는 한계를 지니며, 이는 확장성과 신뢰성을 저해한다. 우리는 이 문제를 간단하고 효율적인 대안인 프로그램 증류(program distillation)로 해결한다. 평가 시점에 LLM에 프롬프트를 입력하는 대신, 그 결정 논리를 후보를 직접 평가하는 프로그램 위원회(committee of programs)로 증류한다. 이러한 프로그램적 심판은 투명성을 제공하고, 쉽게 검사하거나 편집할 수 있으며, 샘플당 API 비용을 없앤다. 이 개념을 바탕으로, 우리는 심판 역할을 할 프로그램을 합성하고, 그 결정을 집계하여 공동 평결을 내리며, 신뢰도가 낮은 경우 선택적으로 LLM에 회부하는 대체 메커니즘(fallback mechanism)을 통합한 시스템인 PAJAMA를 소개한다. 다섯 개의 데이터셋과 네 개의 모델군에 걸쳐, 프로그램적 심판이 13B 크기의 LLM 심판과 동등한 성능을 낼 수 있음을 보여준다. 프로그램 출력을 라우팅 신호로 사용할 때, PAJAMA는 정확도와 처리량을 모두 개선하며 파레토 프런티어(Pareto frontier)를 향상시킨다. 평가를 넘어, 프로그램적 심판은 저렴하고 효과적인 보상 신호를 생성한다: RewardBench에서, 프로그램의 평결로부터 증류된 보상 모델은 독점 LLM의 레이블로 훈련된 모델보다 두 자릿수 낮은 API 비용으로 더 나은 성능을 보인다.

English

LLM-as-a-judge has become the standard for automated evaluation, but it suffers from high cost, significant latency, and opaque decisions -- limitations that undermine its scalability and reliability. We address these with a simple, efficient alternative: program distillation. Instead of prompting an LLM at the evaluation time, we distill its decision logic into a committee of programs that score candidates directly. These programmatic judges offer transparency, are easily inspected or edited, and eliminate per-sample API costs. Building on this notion, we introduce PAJAMA, a system that synthesizes programs as judges, aggregates their decisions into a joint verdict, and incorporates a fallback mechanism to selectively escalate low-confidence cases to an LLM. Across five datasets and four model families, we show that programmatic judges can match the performance of a 13B-size LLM judge. When using program outputs as routing signals, PAJAMA improves both accuracy and throughput and advances the Pareto frontier. Beyond evaluation, programmatic judges produce cheap and effective reward signals: on RewardBench, a reward model distilled from programs' verdicts outperforms one trained on a proprietary LLM's labels at two orders of magnitude lower API cost.