FACTORY: Um Conjunto Desafiador de Prompts Verificados por Humanos para Verificação de Fatos em Textos Longos

FACTORY: A Challenging Human-Verified Prompt Set for Long-Form Factuality

July 31, 2025

Autores: Mingda Chen, Yang Li, Xilun Chen, Adina Williams, Gargi Ghosh, Scott Yih

cs.AI

Resumo

A avaliação de factualidade em textos longos mede a capacidade dos modelos de gerar respostas precisas e abrangentes para prompts curtos. Os benchmarks existentes frequentemente carecem de verificação humana, o que pode levar a problemas de qualidade. Para superar essa limitação, apresentamos o FACTORY, um conjunto de prompts em larga escala verificado por humanos. Desenvolvido usando uma abordagem de modelo-em-loop e refinado por humanos, o FACTORY inclui prompts desafiadores que buscam fatos, são respondíveis e inequívocos. Realizamos avaliações humanas em 6 modelos de linguagem state-of-the-art utilizando o FACTORY e conjuntos de dados existentes. Nossos resultados mostram que o FACTORY é um benchmark desafiador: aproximadamente 40% das afirmações feitas nas respostas dos modelos SOTA não são factuais, em comparação com apenas 10% em outros conjuntos de dados. Nossa análise destaca as vantagens do FACTORY sobre benchmarks anteriores, enfatizando sua confiabilidade e a necessidade de os modelos raciocinarem sobre fatos de cauda longa.

English

Long-form factuality evaluation assesses the ability of models to generate accurate, comprehensive responses to short prompts. Existing benchmarks often lack human verification, leading to potential quality issues. To address this limitation, we introduce FACTORY, a large-scale, human-verified prompt set. Developed using a model-in-the-loop approach and refined by humans, FACTORY includes challenging prompts that are fact-seeking, answerable, and unambiguous. We conduct human evaluations on 6 state-of-the-art language models using FACTORY and existing datasets. Our results show that FACTORY is a challenging benchmark: approximately 40% of the claims made in the responses of SOTA models are not factual, compared to only 10% for other datasets. Our analysis identifies the strengths of FACTORY over prior benchmarks, emphasizing its reliability and the necessity for models to reason across long-tailed facts.