FACTORY : Un ensemble de prompts vérifiés par des humains et exigeants pour l'évaluation de la factualité en texte long

FACTORY: A Challenging Human-Verified Prompt Set for Long-Form Factuality

July 31, 2025

papers.authors: Mingda Chen, Yang Li, Xilun Chen, Adina Williams, Gargi Ghosh, Scott Yih

cs.AI

papers.abstract

L'évaluation de la factualité sur des textes longs mesure la capacité des modèles à générer des réponses précises et complètes à des prompts courts. Les benchmarks existants manquent souvent de vérification humaine, ce qui peut entraîner des problèmes de qualité. Pour remédier à cette limitation, nous introduisons FACTORY, un ensemble de prompts à grande échelle vérifié par des humains. Développé en utilisant une approche de modèle-en-boucle et affiné par des humains, FACTORY inclut des prompts complexes qui sont factuels, répondables et non ambigus. Nous menons des évaluations humaines sur 6 modèles de langage de pointe en utilisant FACTORY et des jeux de données existants. Nos résultats montrent que FACTORY constitue un benchmark exigeant : environ 40 % des affirmations dans les réponses des modèles de pointe ne sont pas factuelles, contre seulement 10 % pour les autres jeux de données. Notre analyse met en lumière les avantages de FACTORY par rapport aux benchmarks précédents, soulignant sa fiabilité et la nécessité pour les modèles de raisonner sur des faits à longue traîne.

English

Long-form factuality evaluation assesses the ability of models to generate accurate, comprehensive responses to short prompts. Existing benchmarks often lack human verification, leading to potential quality issues. To address this limitation, we introduce FACTORY, a large-scale, human-verified prompt set. Developed using a model-in-the-loop approach and refined by humans, FACTORY includes challenging prompts that are fact-seeking, answerable, and unambiguous. We conduct human evaluations on 6 state-of-the-art language models using FACTORY and existing datasets. Our results show that FACTORY is a challenging benchmark: approximately 40% of the claims made in the responses of SOTA models are not factual, compared to only 10% for other datasets. Our analysis identifies the strengths of FACTORY over prior benchmarks, emphasizing its reliability and the necessity for models to reason across long-tailed facts.