Precisão Não é Fidelidade: Avaliação Consciente de Cobertura da Geração Fundamentada com um Oráculo Completo

Resumo

As métricas de fidelidade sem referência verificam cada afirmação atômica que um modelo faz em relação à verdade fundamental e são cada vez mais usadas para avaliar geração fundamentada. Mostramos que elas compartilham um ponto cego: medem apenas a precisão — as afirmações declaradas são apoiadas? — e, portanto, recompensam a abstenção, já que um modelo pode obter uma fidelidade quase perfeita ao dizer quase nada. Tornamos isso mensurável usando telemetria de Fórmula 1, um domínio onde a verdade fundamental estratégica é derivada deterministicamente e, crucialmente, de forma completa: para cada decisão, conhecemos o conjunto completo de fatos que importaram. Essa completude — ausente em benchmarks de fidelidade de domínio aberto — permite medir exatamente a cobertura (cobertura dos fatos relevantes), juntamente com a precisão. Em um benchmark multilíngue (EN/ES/PT) de 7.253 instâncias de decisão abrangendo 150 corridas, o modelo de fronteira mais preciso cobre menos da metade dos fatos relevantes e fica em último lugar pelo F1, portanto, exigir cobertura reordena os sistemas; o mesmo efeito reaparece em um segundo domínio de oráculo completo (previsões meteorológicas da NOAA). Uma ablação de prompt mostra que a baixa cobertura não é um artefato de sub-prompting: pedir explicitamente aos modelos para serem minuciosos não fecha a lacuna. Combinamos fidelidade com cobertura em uma única pontuação, validamos a métrica (perturbação controlada; concordância entre um extrator regex livre de modelo e um extrator de LLM de famílias cruzadas, Spearman 1.0 no nível do sistema) e fornecemos um método de geração guiada por verificador que melhora a precisão e a cobertura sem referências. Disponibilizamos o benchmark, anotações estruturadas, métrica, linhas de base e uma demonstração interativa.

English

Reference-free faithfulness metrics verify each atomic claim a model makes against ground truth, and are increasingly used to evaluate grounded generation. We show they share a blind spot: they measure only precision -- are the stated claims supported? -- and therefore reward abstention, since a model can score near-perfect faithfulness by saying almost nothing. We make this measurable using Formula 1 telemetry, a domain where strategic ground truth is derived deterministically and, crucially, completely: for each decision we know the full set of facts that mattered. This completeness -- absent in open-domain faithfulness benchmarks -- lets us measure recall (coverage of the relevant facts) exactly, alongside precision. On a multilingual (EN/ES/PT) benchmark of 7,253 decision instances spanning 150 races, the most precise frontier model covers under half of the relevant facts and ranks last by F1, so requiring coverage reorders the systems; the same effect reappears in a second complete-oracle domain (NOAA weather forecasts). A prompt ablation shows the low coverage is not an under-prompting artifact: explicitly asking models to be thorough does not close the gap. We pair faithfulness with coverage into a single score, validate the metric (controlled perturbation; agreement across a model-free regex extractor and a cross-family LLM extractor, system-level Spearman 1.0), and give a verifier-guided generation method that improves precision and recall without references. We release the benchmark, structured annotations, metric, baselines, and an interactive demo.