Точность — это не верность: оценка обоснованной генерации с учетом покрытия с помощью полного оракула

Аннотация

Безэталонные метрики достоверности проверяют каждое атомарное утверждение модели на соответствие истине и всё чаще применяются для оценки генерации с привязкой к фактам. Мы показываем, что у них есть общая слепая зона: они измеряют только точность — подтверждаются ли приведённые утверждения? — и тем самым поощряют воздержание, поскольку модель может получить почти идеальную оценку достоверности, практически ничего не говоря. Мы делаем это измеримым с помощью телеметрии Формулы-1 — области, где стратегическая истина выводится детерминированно и, что критически важно, полностью: для каждого решения мы знаем полный набор фактов, которые имели значение. Эта полнота — отсутствующая в бенчмарках достоверности для открытых предметных областей — позволяет нам точно измерить полноту (охват релевантных фактов) наряду с точностью. На многоязычном (EN/ES/PT) бенчмарке из 7 253 экземпляров решений, охватывающих 150 гонок, самая точная передовая модель покрывает менее половины релевантных фактов и занимает последнее место по F-мере, так что требование покрытия переупорядочивает системы; тот же эффект повторяется во второй предметной области с полным оракулом (прогнозы погоды NOAA). Абляция промптов показывает, что низкая полнота не является артефактом недостаточного промптинга: явная просьба к моделям быть исчерпывающими не устраняет разрыв. Мы объединяем достоверность с покрытием в единую оценку, валидируем метрику (контролируемое возмущение; согласие между извлекателем на основе регулярных выражений без использования модели и извлекателем на основе LLM другого семейства, коэффициент Спирмена на уровне систем 1.0) и предлагаем метод генерации, направляемой верификатором, который улучшает точность и полноту без использования эталонов. Мы публикуем бенчмарк, структурированные аннотации, метрику, базовые модели и интерактивное демо.

English

Reference-free faithfulness metrics verify each atomic claim a model makes against ground truth, and are increasingly used to evaluate grounded generation. We show they share a blind spot: they measure only precision -- are the stated claims supported? -- and therefore reward abstention, since a model can score near-perfect faithfulness by saying almost nothing. We make this measurable using Formula 1 telemetry, a domain where strategic ground truth is derived deterministically and, crucially, completely: for each decision we know the full set of facts that mattered. This completeness -- absent in open-domain faithfulness benchmarks -- lets us measure recall (coverage of the relevant facts) exactly, alongside precision. On a multilingual (EN/ES/PT) benchmark of 7,253 decision instances spanning 150 races, the most precise frontier model covers under half of the relevant facts and ranks last by F1, so requiring coverage reorders the systems; the same effect reappears in a second complete-oracle domain (NOAA weather forecasts). A prompt ablation shows the low coverage is not an under-prompting artifact: explicitly asking models to be thorough does not close the gap. We pair faithfulness with coverage into a single score, validate the metric (controlled perturbation; agreement across a model-free regex extractor and a cross-family LLM extractor, system-level Spearman 1.0), and give a verifier-guided generation method that improves precision and recall without references. We release the benchmark, structured annotations, metric, baselines, and an interactive demo.