Além de Verdadeiro ou Falso: Análise Hierárquica Aumentada por Recuperação de Afirmações Nuanceadas

Beyond True or False: Retrieval-Augmented Hierarchical Analysis of Nuanced Claims

June 12, 2025

Autores: Priyanka Kargupta, Runchu Tian, Jiawei Han

cs.AI

Resumo

Afirmações feitas por indivíduos ou entidades são frequentemente complexas e não podem ser claramente classificadas como inteiramente "verdadeiras" ou "falsas" — como é comum em afirmações científicas e políticas. No entanto, uma afirmação (por exemplo, "a vacina A é melhor que a vacina B") pode ser decomposta em seus aspectos e subaspectos integrais (por exemplo, eficácia, segurança, distribuição), que são individualmente mais fáceis de validar. Isso permite uma resposta mais abrangente e estruturada, fornecendo uma perspectiva bem equilibrada sobre um determinado problema, ao mesmo tempo em que permite ao leitor priorizar ângulos específicos de interesse dentro da afirmação (por exemplo, segurança em relação a crianças). Assim, propomos o ClaimSpect, um framework baseado em geração aumentada por recuperação para construir automaticamente uma hierarquia de aspectos tipicamente considerados ao abordar uma afirmação e enriquecê-los com perspectivas específicas do corpus. Essa estrutura particiona hierarquicamente um corpus de entrada para recuperar segmentos relevantes, que auxiliam na descoberta de novos subaspectos. Além disso, esses segmentos permitem a descoberta de diferentes perspectivas em relação a um aspecto da afirmação (por exemplo, apoio, neutro ou oposição) e sua respectiva prevalência (por exemplo, "quantos artigos biomédicos acreditam que a vacina A é mais transportável que a B?"). Aplicamos o ClaimSpect a uma ampla variedade de afirmações científicas e políticas do mundo real presentes em nosso conjunto de dados construído, demonstrando sua robustez e precisão na desconstrução de uma afirmação complexa e na representação de perspectivas dentro de um corpus. Por meio de estudos de caso do mundo real e avaliação humana, validamos sua eficácia em relação a múltiplas baselines.

English

Claims made by individuals or entities are oftentimes nuanced and cannot be clearly labeled as entirely "true" or "false" -- as is frequently the case with scientific and political claims. However, a claim (e.g., "vaccine A is better than vaccine B") can be dissected into its integral aspects and sub-aspects (e.g., efficacy, safety, distribution), which are individually easier to validate. This enables a more comprehensive, structured response that provides a well-rounded perspective on a given problem while also allowing the reader to prioritize specific angles of interest within the claim (e.g., safety towards children). Thus, we propose ClaimSpect, a retrieval-augmented generation-based framework for automatically constructing a hierarchy of aspects typically considered when addressing a claim and enriching them with corpus-specific perspectives. This structure hierarchically partitions an input corpus to retrieve relevant segments, which assist in discovering new sub-aspects. Moreover, these segments enable the discovery of varying perspectives towards an aspect of the claim (e.g., support, neutral, or oppose) and their respective prevalence (e.g., "how many biomedical papers believe vaccine A is more transportable than B?"). We apply ClaimSpect to a wide variety of real-world scientific and political claims featured in our constructed dataset, showcasing its robustness and accuracy in deconstructing a nuanced claim and representing perspectives within a corpus. Through real-world case studies and human evaluation, we validate its effectiveness over multiple baselines.