Jenseits von Wahr oder Falsch: Retrieval-augmentierte hierarchische Analyse differenzierter Behauptungen

Beyond True or False: Retrieval-Augmented Hierarchical Analysis of Nuanced Claims

June 12, 2025

Autoren: Priyanka Kargupta, Runchu Tian, Jiawei Han

cs.AI

Zusammenfassung

Aussagen von Einzelpersonen oder Organisationen sind oft nuanciert und können nicht eindeutig als vollständig „wahr“ oder „falsch“ klassifiziert werden – wie dies häufig bei wissenschaftlichen und politischen Behauptungen der Fall ist. Eine Aussage (z. B. „Impfstoff A ist besser als Impfstoff B“) kann jedoch in ihre integralen Aspekte und Unteraspekte (z. B. Wirksamkeit, Sicherheit, Verteilung) zerlegt werden, die einzeln leichter zu validieren sind. Dies ermöglicht eine umfassendere, strukturierte Antwort, die eine ausgewogene Perspektive auf ein gegebenes Problem bietet und gleichzeitig dem Leser erlaubt, spezifische Interessensschwerpunkte innerhalb der Aussage zu priorisieren (z. B. Sicherheit gegenüber Kindern). Daher schlagen wir ClaimSpect vor, ein auf retrieval-augmentierter Generierung basierendes Framework, das automatisch eine Hierarchie von Aspekten erstellt, die typischerweise bei der Betrachtung einer Aussage berücksichtigt werden, und diese mit korpusspezifischen Perspektiven anreichert. Diese Struktur unterteilt ein Eingabekorpus hierarchisch, um relevante Segmente zu extrahieren, die bei der Entdeckung neuer Unteraspekte helfen. Darüber hinaus ermöglichen diese Segmente die Identifizierung unterschiedlicher Perspektiven zu einem Aspekt der Aussage (z. B. Unterstützung, Neutralität oder Ablehnung) und deren jeweiliger Verbreitung (z. B. „Wie viele biomedizinische Publikationen glauben, dass Impfstoff A transportabler ist als B?“). Wir wenden ClaimSpect auf eine Vielzahl realer wissenschaftlicher und politischer Aussagen an, die in unserem erstellten Datensatz enthalten sind, und demonstrieren seine Robustheit und Genauigkeit bei der Dekonstruktion einer nuancierten Aussage sowie der Darstellung von Perspektiven innerhalb eines Korpus. Durch reale Fallstudien und menschliche Bewertung validieren wir seine Effektivität im Vergleich zu mehreren Baseline-Methoden.

English

Claims made by individuals or entities are oftentimes nuanced and cannot be clearly labeled as entirely "true" or "false" -- as is frequently the case with scientific and political claims. However, a claim (e.g., "vaccine A is better than vaccine B") can be dissected into its integral aspects and sub-aspects (e.g., efficacy, safety, distribution), which are individually easier to validate. This enables a more comprehensive, structured response that provides a well-rounded perspective on a given problem while also allowing the reader to prioritize specific angles of interest within the claim (e.g., safety towards children). Thus, we propose ClaimSpect, a retrieval-augmented generation-based framework for automatically constructing a hierarchy of aspects typically considered when addressing a claim and enriching them with corpus-specific perspectives. This structure hierarchically partitions an input corpus to retrieve relevant segments, which assist in discovering new sub-aspects. Moreover, these segments enable the discovery of varying perspectives towards an aspect of the claim (e.g., support, neutral, or oppose) and their respective prevalence (e.g., "how many biomedical papers believe vaccine A is more transportable than B?"). We apply ClaimSpect to a wide variety of real-world scientific and political claims featured in our constructed dataset, showcasing its robustness and accuracy in deconstructing a nuanced claim and representing perspectives within a corpus. Through real-world case studies and human evaluation, we validate its effectiveness over multiple baselines.