PlainQAFact: Automatische Evaluatiemetriek voor Feitelijkheid van Biomedische Samenvattingen in Eenvoudige Taal

PlainQAFact: Automatic Factuality Evaluation Metric for Biomedical Plain Language Summaries Generation

March 11, 2025

Auteurs: Zhiwen You, Yue Guo

cs.AI

Samenvatting

Hallucinaties in de uitvoer van taalmodellen vormen risico's in het medische domein, vooral voor leken die gezondheidsgerelateerde beslissingen nemen. Bestaande methoden voor feitelijkheidsevaluatie, zoals op entailment en vraag-antwoord (QA) gebaseerde methoden, worstelen met het genereren van samenvattingen in begrijpelijke taal (Plain Language Summary, PLS) vanwege het fenomeen van uitgebreide uitleg, waarbij externe inhoud (bijv. definities, achtergrondinformatie, voorbeelden) die niet in het brondocument voorkomt, wordt toegevoegd om het begrip te vergroten. Om dit aan te pakken, introduceren we PlainQAFact, een raamwerk getraind op een fijnmazige, door mensen geannoteerde dataset genaamd PlainFact, om de feitelijkheid van zowel vereenvoudigde als uitgebreid uitgelegde zinnen te evalueren. PlainQAFact classificeert eerst het type feitelijkheid en beoordeelt vervolgens de feitelijkheid met behulp van een op QA gebaseerde scoringsmethode die retrieval-augmented is. Onze aanpak is lichtgewicht en computationeel efficiënt. Empirische resultaten laten zien dat bestaande feitelijkheidsmetrieken niet effectief de feitelijkheid in PLS kunnen evalueren, vooral bij uitgebreide uitleg, terwijl PlainQAFact state-of-the-art prestaties behaalt. We analyseren verder de effectiviteit ervan over verschillende externe kennisbronnen, antwoordextractiestrategieën, overlapmaten en documentgranulariteitsniveaus, waardoor de algehele feitelijkheidsbeoordeling wordt verfijnd.

English

Hallucinated outputs from language models pose risks in the medical domain, especially for lay audiences making health-related decisions. Existing factuality evaluation methods, such as entailment- and question-answering-based (QA), struggle with plain language summary (PLS) generation due to elaborative explanation phenomenon, which introduces external content (e.g., definitions, background, examples) absent from the source document to enhance comprehension. To address this, we introduce PlainQAFact, a framework trained on a fine-grained, human-annotated dataset PlainFact, to evaluate the factuality of both source-simplified and elaboratively explained sentences. PlainQAFact first classifies factuality type and then assesses factuality using a retrieval-augmented QA-based scoring method. Our approach is lightweight and computationally efficient. Empirical results show that existing factuality metrics fail to effectively evaluate factuality in PLS, especially for elaborative explanations, whereas PlainQAFact achieves state-of-the-art performance. We further analyze its effectiveness across external knowledge sources, answer extraction strategies, overlap measures, and document granularity levels, refining its overall factuality assessment.