FACTORY: Сложный набор промптов с проверкой человеком для оценки фактической точности в длинных текстах

FACTORY: A Challenging Human-Verified Prompt Set for Long-Form Factuality

July 31, 2025

Авторы: Mingda Chen, Yang Li, Xilun Chen, Adina Williams, Gargi Ghosh, Scott Yih

cs.AI

Аннотация

Оценка фактической точности в длинных текстах проверяет способность моделей генерировать точные и всесторонние ответы на короткие запросы. Существующие эталонные наборы данных часто не проходят проверку людьми, что может приводить к проблемам с качеством. Чтобы устранить этот недостаток, мы представляем FACTORY — масштабный набор запросов, проверенных людьми. Разработанный с использованием подхода "модель в цикле" и доработанный людьми, FACTORY включает сложные запросы, которые ориентированы на поиск фактов, имеют однозначные ответы и являются ясными. Мы провели оценку с участием людей для 6 современных языковых моделей, используя FACTORY и существующие наборы данных. Наши результаты показывают, что FACTORY является сложным эталоном: примерно 40% утверждений в ответах современных моделей не соответствуют фактам, по сравнению с 10% для других наборов данных. Наш анализ выявляет преимущества FACTORY перед предыдущими эталонами, подчеркивая его надежность и необходимость для моделей рассуждать на основе редких и малоизвестных фактов.

English

Long-form factuality evaluation assesses the ability of models to generate accurate, comprehensive responses to short prompts. Existing benchmarks often lack human verification, leading to potential quality issues. To address this limitation, we introduce FACTORY, a large-scale, human-verified prompt set. Developed using a model-in-the-loop approach and refined by humans, FACTORY includes challenging prompts that are fact-seeking, answerable, and unambiguous. We conduct human evaluations on 6 state-of-the-art language models using FACTORY and existing datasets. Our results show that FACTORY is a challenging benchmark: approximately 40% of the claims made in the responses of SOTA models are not factual, compared to only 10% for other datasets. Our analysis identifies the strengths of FACTORY over prior benchmarks, emphasizing its reliability and the necessity for models to reason across long-tailed facts.