Statistisch betrouwbare LLM-gebaseerde rangschikkingsevaluatie via voorspellingsgestuurde inferentie

Samenvatting

Met PRECISE hebben we Prediction-Powered Inference uitgebreid om bias-gecorrigeerde schattingen van ranking-evaluatiemetingen te produceren door een kleine, door mensen gelabelde set te combineren met een grote, door LLM beoordeelde set. PPI is aantoonbaar onbevooroordeeld, ongeacht het foutenprofiel van de LLM-beoordelaar. We maken het toepasbaar op hiërarchische metrieken zoals Precision@K, waarbij annotaties per document zijn maar de metriek per query, door de output-ruimteberekening te reduceren van O(2^|C|) naar O(2^K). Op de ESCI-benchmark vermindert het aanvullen van 30 menselijke annotaties met Claude 3 Sonnet-oordelen de standaardfout van Precision@4-schattingen van 4,45 naar 3,50 (een relatieve reductie van 21%). In een productiesysteem identificeerde ons raamwerk correct de beste van drie systeemvarianten op basis van 100 menselijke labels en 2 uur aan domeinexpert-annotatie; A/B-testen bevestigden deze rangschikking met +407 bps in dagelijkse verkopen.

English

With PRECISE, we extended Prediction-Powered Inference to produce bias-corrected estimates of ranking evaluation metrics by combining a small human-labeled set with a large LLM-judged set. PPI is provably unbiased regardless of the LLM judge's error profile. We make it applicable to hierarchical metrics like Precision@K, where annotations are per-document but the metric is per-query, by reducing the output-space computation from O(2^|C|) to O(2^K). On the ESCI benchmark, augmenting 30 human annotations with Claude 3 Sonnet judgments reduces the standard error of Precision@4 estimates from 4.45 to 3.50 (a 21% relative reduction). In a production system, our framework correctly identified the best of three system variants from 100 human labels and 2 hours of domain-expert annotation; A/B testing confirmed this ranking with +407 bps in daily sales.