FACTORY: Een uitdagende, door mensen geverifieerde promptset voor feitelijkheid in lange teksten

FACTORY: A Challenging Human-Verified Prompt Set for Long-Form Factuality

July 31, 2025

Auteurs: Mingda Chen, Yang Li, Xilun Chen, Adina Williams, Gargi Ghosh, Scott Yih

cs.AI

Samenvatting

Evaluatie van feitelijkheid op lange termijn beoordeelt het vermogen van modellen om nauwkeurige, uitgebreide antwoorden te genereren op korte prompts. Bestaande benchmarks missen vaak menselijke verificatie, wat kan leiden tot potentiële kwaliteitsproblemen. Om deze beperking aan te pakken, introduceren we FACTORY, een grootschalige, door mensen geverifieerde promptset. Ontwikkeld met een model-in-the-loop aanpak en verfijnd door mensen, bevat FACTORY uitdagende prompts die feitgericht, beantwoordbaar en eenduidig zijn. We voeren menselijke evaluaties uit op 6 state-of-the-art taalmodellen met behulp van FACTORY en bestaande datasets. Onze resultaten laten zien dat FACTORY een uitdagende benchmark is: ongeveer 40% van de beweringen in de antwoorden van SOTA-modellen zijn niet feitelijk, vergeleken met slechts 10% voor andere datasets. Onze analyse identificeert de sterke punten van FACTORY ten opzichte van eerdere benchmarks, waarbij de nadruk ligt op de betrouwbaarheid ervan en de noodzaak voor modellen om te redeneren over lange-staart feiten.

English

Long-form factuality evaluation assesses the ability of models to generate accurate, comprehensive responses to short prompts. Existing benchmarks often lack human verification, leading to potential quality issues. To address this limitation, we introduce FACTORY, a large-scale, human-verified prompt set. Developed using a model-in-the-loop approach and refined by humans, FACTORY includes challenging prompts that are fact-seeking, answerable, and unambiguous. We conduct human evaluations on 6 state-of-the-art language models using FACTORY and existing datasets. Our results show that FACTORY is a challenging benchmark: approximately 40% of the claims made in the responses of SOTA models are not factual, compared to only 10% for other datasets. Our analysis identifies the strengths of FACTORY over prior benchmarks, emphasizing its reliability and the necessity for models to reason across long-tailed facts.