FACTORY: Un Set di Prompt Verificati dall'Uomo e Impegnativi per la Verifica della Fattualità nei Testi Lunghi

FACTORY: A Challenging Human-Verified Prompt Set for Long-Form Factuality

July 31, 2025

Autori: Mingda Chen, Yang Li, Xilun Chen, Adina Williams, Gargi Ghosh, Scott Yih

cs.AI

Abstract

La valutazione della veridicità su testi lunghi misura la capacità dei modelli di generare risposte accurate e complete a partire da brevi prompt. I benchmark esistenti spesso mancano di una verifica umana, portando a potenziali problemi di qualità. Per affrontare questa limitazione, introduciamo FACTORY, un ampio set di prompt verificati da esseri umani. Sviluppato utilizzando un approccio "model-in-the-loop" e raffinato da umani, FACTORY include prompt complessi che sono orientati alla ricerca di fatti, rispondibili e non ambigui. Abbiamo condotto valutazioni umane su 6 modelli linguistici all'avanguardia utilizzando FACTORY e dataset esistenti. I nostri risultati dimostrano che FACTORY è un benchmark impegnativo: circa il 40% delle affermazioni presenti nelle risposte dei modelli SOTA non è veritiero, rispetto a solo il 10% per altri dataset. La nostra analisi evidenzia i punti di forza di FACTORY rispetto ai benchmark precedenti, sottolineandone l'affidabilità e la necessità per i modelli di ragionare su fatti a coda lunga.

English

Long-form factuality evaluation assesses the ability of models to generate accurate, comprehensive responses to short prompts. Existing benchmarks often lack human verification, leading to potential quality issues. To address this limitation, we introduce FACTORY, a large-scale, human-verified prompt set. Developed using a model-in-the-loop approach and refined by humans, FACTORY includes challenging prompts that are fact-seeking, answerable, and unambiguous. We conduct human evaluations on 6 state-of-the-art language models using FACTORY and existing datasets. Our results show that FACTORY is a challenging benchmark: approximately 40% of the claims made in the responses of SOTA models are not factual, compared to only 10% for other datasets. Our analysis identifies the strengths of FACTORY over prior benchmarks, emphasizing its reliability and the necessity for models to reason across long-tailed facts.