PlainQAFact: Автоматическая метрика оценки фактической точности для генерации упрощенных биомедицинских текстов

PlainQAFact: Automatic Factuality Evaluation Metric for Biomedical Plain Language Summaries Generation

March 11, 2025

Авторы: Zhiwen You, Yue Guo

cs.AI

Аннотация

Галлюцинации в выходных данных языковых моделей представляют риски в медицинской сфере, особенно для непрофессиональной аудитории, принимающей решения, связанные со здоровьем. Существующие методы оценки фактической точности, такие как основанные на логическом следствии и вопросах-ответах (QA), сталкиваются с трудностями при генерации упрощенных текстов (Plain Language Summary, PLS) из-за явления развернутых объяснений, которое вводит внешний контент (например, определения, справочную информацию, примеры), отсутствующий в исходном документе, для улучшения понимания. Для решения этой проблемы мы представляем PlainQAFact — фреймворк, обученный на детально аннотированном наборе данных PlainFact, для оценки фактической точности как упрощенных предложений, так и предложений с развернутыми объяснениями. PlainQAFact сначала классифицирует тип фактической точности, а затем оценивает её с помощью метода подсчета баллов на основе QA, дополненного поиском информации. Наш подход является легковесным и вычислительно эффективным. Эмпирические результаты показывают, что существующие метрики фактической точности не способны эффективно оценивать её в PLS, особенно для развернутых объяснений, тогда как PlainQAFact демонстрирует наилучшие результаты. Мы также анализируем его эффективность в зависимости от внешних источников знаний, стратегий извлечения ответов, мер перекрытия и уровней детализации документов, что позволяет уточнить общую оценку фактической точности.

English

Hallucinated outputs from language models pose risks in the medical domain, especially for lay audiences making health-related decisions. Existing factuality evaluation methods, such as entailment- and question-answering-based (QA), struggle with plain language summary (PLS) generation due to elaborative explanation phenomenon, which introduces external content (e.g., definitions, background, examples) absent from the source document to enhance comprehension. To address this, we introduce PlainQAFact, a framework trained on a fine-grained, human-annotated dataset PlainFact, to evaluate the factuality of both source-simplified and elaboratively explained sentences. PlainQAFact first classifies factuality type and then assesses factuality using a retrieval-augmented QA-based scoring method. Our approach is lightweight and computationally efficient. Empirical results show that existing factuality metrics fail to effectively evaluate factuality in PLS, especially for elaborative explanations, whereas PlainQAFact achieves state-of-the-art performance. We further analyze its effectiveness across external knowledge sources, answer extraction strategies, overlap measures, and document granularity levels, refining its overall factuality assessment.