Покажите мне работу: требования фактчекеров к объяснимой автоматизированной проверке фактов

Show Me the Work: Fact-Checkers' Requirements for Explainable Automated Fact-Checking

February 13, 2025

Авторы: Greta Warren, Irina Shklovski, Isabelle Augenstein

cs.AI

Аннотация

Широкое распространение больших языковых моделей и генеративного ИИ в онлайн-медиа усилило потребность в эффективной автоматизированной проверке фактов, чтобы помочь специалистам справляться с растущим объемом и усложнением дезинформации. Сложный характер проверки фактов требует, чтобы автоматизированные системы предоставляли объяснения, позволяющие специалистам тщательно анализировать их результаты. Однако остается неясным, как эти объяснения должны соответствовать процессам принятия решений и рассуждений специалистов, чтобы быть эффективно интегрированными в их рабочие процессы. Посредством полуструктурированных интервью с профессионалами в области проверки фактов мы устраняем этот пробел, выполняя следующие шаги: (i) описываем, как специалисты оценивают доказательства, принимают решения и объясняют свои процессы; (ii) исследуем, как специалисты используют автоматизированные инструменты на практике; и (iii) определяем требования специалистов к объяснениям, предоставляемым автоматизированными инструментами проверки фактов. Результаты исследования выявляют неудовлетворенные потребности в объяснениях и определяют важные критерии для воспроизводимых объяснений, которые отслеживают путь рассуждений модели, ссылаются на конкретные доказательства и выделяют неопределенности и пробелы в информации.

English

The pervasiveness of large language models and generative AI in online media has amplified the need for effective automated fact-checking to assist fact-checkers in tackling the increasing volume and sophistication of misinformation. The complex nature of fact-checking demands that automated fact-checking systems provide explanations that enable fact-checkers to scrutinise their outputs. However, it is unclear how these explanations should align with the decision-making and reasoning processes of fact-checkers to be effectively integrated into their workflows. Through semi-structured interviews with fact-checking professionals, we bridge this gap by: (i) providing an account of how fact-checkers assess evidence, make decisions, and explain their processes; (ii) examining how fact-checkers use automated tools in practice; and (iii) identifying fact-checker explanation requirements for automated fact-checking tools. The findings show unmet explanation needs and identify important criteria for replicable fact-checking explanations that trace the model's reasoning path, reference specific evidence, and highlight uncertainty and information gaps.