참 또는 거짓을 넘어서: 미묘한 주장에 대한 검색-증강 계층적 분석

초록

개인 또는 단체가 제기하는 주장은 종종 미묘한 차이를 보이며, 과학적 또는 정치적 주장에서 자주 나타나듯이 완전히 "참" 또는 "거짓"으로 명확히 분류하기 어려운 경우가 많다. 그러나 예를 들어 "백신 A가 백신 B보다 우수하다"와 같은 주장은 그 구성 요소와 하위 요소(예: 효능, 안전성, 유통)로 세분화할 수 있으며, 이는 개별적으로 검증하기가 더 용이하다. 이를 통해 특정 문제에 대한 포괄적이고 구조화된 응답을 제공할 수 있으며, 독자가 주장 내에서 관심 있는 특정 측면(예: 어린이에 대한 안전성)을 우선적으로 고려할 수 있도록 한다. 따라서 우리는 주장을 다룰 때 일반적으로 고려되는 측면의 계층 구조를 자동으로 구성하고, 이를 코퍼스 특정 관점으로 풍부하게 하는 검색 강화 생성 기반 프레임워크인 ClaimSpect를 제안한다. 이 구조는 입력 코퍼스를 계층적으로 분할하여 관련 세그먼트를 검색하며, 이를 통해 새로운 하위 측면을 발견하는 데 도움을 준다. 또한, 이러한 세그먼트는 주장의 특정 측면에 대한 다양한 관점(예: 지지, 중립, 반대)과 그들의 상대적 빈도(예: "얼마나 많은 생물의학 논문이 백신 A가 B보다 운반 가능성이 높다고 믿는가?")를 발견할 수 있게 한다. 우리는 구축한 데이터셋에 포함된 다양한 실제 과학적 및 정치적 주장에 ClaimSpect를 적용하여, 미묘한 주장을 해체하고 코퍼스 내 관점을 표현하는 데 있어 그 견고성과 정확성을 입증한다. 실제 사례 연구와 인간 평가를 통해 여러 기준선 대비 그 효과성을 검증한다.

English

Claims made by individuals or entities are oftentimes nuanced and cannot be clearly labeled as entirely "true" or "false" -- as is frequently the case with scientific and political claims. However, a claim (e.g., "vaccine A is better than vaccine B") can be dissected into its integral aspects and sub-aspects (e.g., efficacy, safety, distribution), which are individually easier to validate. This enables a more comprehensive, structured response that provides a well-rounded perspective on a given problem while also allowing the reader to prioritize specific angles of interest within the claim (e.g., safety towards children). Thus, we propose ClaimSpect, a retrieval-augmented generation-based framework for automatically constructing a hierarchy of aspects typically considered when addressing a claim and enriching them with corpus-specific perspectives. This structure hierarchically partitions an input corpus to retrieve relevant segments, which assist in discovering new sub-aspects. Moreover, these segments enable the discovery of varying perspectives towards an aspect of the claim (e.g., support, neutral, or oppose) and their respective prevalence (e.g., "how many biomedical papers believe vaccine A is more transportable than B?"). We apply ClaimSpect to a wide variety of real-world scientific and political claims featured in our constructed dataset, showcasing its robustness and accuracy in deconstructing a nuanced claim and representing perspectives within a corpus. Through real-world case studies and human evaluation, we validate its effectiveness over multiple baselines.

참 또는 거짓을 넘어서: 미묘한 주장에 대한 검색-증강 계층적 분석

Beyond True or False: Retrieval-Augmented Hierarchical Analysis of Nuanced Claims

초록

Support