デバート・ツリー：多人物討論ツリーによる科学的比較分析のための批判的思考の誘発

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

著者: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

要旨

現代技術の進展とアクセシビリティの向上により、研究は指数関数的に拡大し、科学の発見は分野内および分野間でますます細分化されている。これにより、関連する研究、特に異なる研究コミュニティからの研究間の重要性、新規性、漸進的な発見、および同等のアイデアを評価することが困難になっている。大規模言語モデル（LLM）は最近、強力な定量的および定性的な推論能力を示しており、多エージェントLLMディベートは、多様な視点と推論経路を探求することで複雑な推論タスクを処理する可能性を示している。これに触発され、我々は科学論文をLLMペルソナに変換し、それぞれの新規性について議論する「Tree-of-Debate（ToD）」フレームワークを提案する。結果のみに焦点を当てるのではなく、構造化された批判的推論を重視するため、ToDは動的にディベートツリーを構築し、学術論文内の独立した新規性の主張を詳細に分析することを可能にする。さまざまな分野の科学文献を用いた実験を通じて、専門研究者による評価を行い、ToDが有益な議論を生成し、論文を効果的に対比させ、研究者の文献レビューを支援することを実証した。

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.