Статистически надежная оценка ранжирования на основе LLM посредством прогностически усиленного вывода

Аннотация

С помощью PRECISE мы расширили метод Prediction-Powered Inference (вывод с поддержкой предсказаний) для получения скорректированных по смещению оценок метрик ранжирования путем объединения небольшого набора с разметкой от людей и большого набора, оценённого большой языковой моделью (LLM). Метод PPI является доказуемо несмещённым независимо от профиля ошибок LLM-судьи. Мы делаем его применимым к иерархическим метрикам, таким как Precision@K, где аннотации присваиваются на уровне документов, а сама метрика вычисляется на уровне запросов, за счёт сокращения вычислений в пространстве выходных данных с O(2^|C|) до O(2^K). На эталонном наборе ESCI дополнение 30 человеческих аннотаций оценками Claude 3 Sonnet снижает стандартную ошибку оценок Precision@4 с 4,45 до 3,50 (относительное снижение на 21%). В продуктовой системе наша схема правильно определила лучший из трёх вариантов системы на основе 100 меток от людей и 2 часов аннотирования экспертами предметной области; A/B-тестирование подтвердило это ранжирование с приростом ежедневных продаж на 407 базисных пунктов.

English

With PRECISE, we extended Prediction-Powered Inference to produce bias-corrected estimates of ranking evaluation metrics by combining a small human-labeled set with a large LLM-judged set. PPI is provably unbiased regardless of the LLM judge's error profile. We make it applicable to hierarchical metrics like Precision@K, where annotations are per-document but the metric is per-query, by reducing the output-space computation from O(2^|C|) to O(2^K). On the ESCI benchmark, augmenting 30 human annotations with Claude 3 Sonnet judgments reduces the standard error of Precision@4 estimates from 4.45 to 3.50 (a 21% relative reduction). In a production system, our framework correctly identified the best of three system variants from 100 human labels and 2 hours of domain-expert annotation; A/B testing confirmed this ranking with +407 bps in daily sales.