Tree-of-Debate: 다중 페르소나 토론 트리가 과학적 비교 분석을 위한 비판적 사고를 유도하다

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

저자: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

초록

현대 기술과 향상된 접근성 덕분에 연구가 기하급수적으로 증가하면서, 과학적 발견은 학문 내 및 학제 간에 점점 더 파편화되고 있습니다. 이로 인해 관련 연구들, 특히 서로 다른 연구 커뮤니티에서 나온 연구들의 중요성, 참신성, 점진적 발견, 그리고 동등한 아이디어를 평가하는 것이 어려워졌습니다. 최근 대규모 언어 모델(LLM)은 강력한 정량적 및 정성적 추론 능력을 보여주었으며, 다중 에이전트 LLM 토론은 다양한 관점과 추론 경로를 탐색함으로써 복잡한 추론 작업을 처리하는 데 유망한 가능성을 보였습니다. 이를 영감으로 삼아, 우리는 과학 논문을 LLM 페르소나로 변환하여 각각의 참신성을 논쟁하는 Tree-of-Debate(ToD) 프레임워크를 소개합니다. 결과에만 초점을 맞추는 대신 구조화된 비판적 추론을 강조하기 위해, ToD는 토론 트리를 동적으로 구성하여 학술 논문 내 독립적인 참신성 주장에 대한 세밀한 분석을 가능하게 합니다. 다양한 분야의 과학 문헌에 대한 실험을 통해 전문 연구자들이 평가한 결과, ToD는 정보성 있는 주장을 생성하고 논문들을 효과적으로 대비시키며 연구자들의 문헌 검토를 지원하는 것으로 나타났습니다.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.