만약 우리가 전제를 제거할 수 있다면: 전제 없는 질문 분해를 통한 주장의 강건한 검증
If We May De-Presuppose: Robustly Verifying Claims through Presupposition-Free Question Decomposition
August 22, 2025
저자: Shubhashis Roy Dipta, Francis Ferraro
cs.AI
초록
기존 연구에 따르면 생성된 질문의 전제는 검증되지 않은 가정을 도입함으로써 주장 검증에서의 불일치를 초래할 수 있음이 밝혀졌습니다. 또한, 프롬프트 민감도는 대규모 언어 모델(LLM)의 주요 과제로 남아 있으며, 이로 인해 성능 변동이 최대 3-6%까지 발생할 수 있습니다. 최근의 발전으로 이러한 격차가 줄어들었지만, 우리의 연구는 프롬프트 민감도가 여전히 지속적인 문제임을 보여줍니다. 이를 해결하기 위해, 우리는 전제가 없는 분해된 질문을 통해 추론하는 구조적이고 견고한 주장 검증 프레임워크를 제안합니다. 다양한 프롬프트, 데이터셋, 그리고 LLM에 걸친 광범위한 실험을 통해, 최첨단 모델들조차도 프롬프트 변동과 전제에 취약함이 드러났습니다. 우리의 방법은 이러한 문제를 일관되게 완화하며, 최대 2-5%의 성능 향상을 달성했습니다.
English
Prior work has shown that presupposition in generated questions can introduce
unverified assumptions, leading to inconsistencies in claim verification.
Additionally, prompt sensitivity remains a significant challenge for large
language models (LLMs), resulting in performance variance as high as 3-6%.
While recent advancements have reduced this gap, our study demonstrates that
prompt sensitivity remains a persistent issue. To address this, we propose a
structured and robust claim verification framework that reasons through
presupposition-free, decomposed questions. Extensive experiments across
multiple prompts, datasets, and LLMs reveal that even state-of-the-art models
remain susceptible to prompt variance and presupposition. Our method
consistently mitigates these issues, achieving up to a 2-5% improvement.