Tree-of-Debate: Mehrpersonen-Debattenbäume fördern kritisches Denken für wissenschaftliche vergleichende Analysen

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

Autoren: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

Zusammenfassung

Mit dem exponentiellen Wachstum der Forschung, das durch moderne Technologie und verbesserte Zugänglichkeit ermöglicht wird, sind wissenschaftliche Entdeckungen zunehmend fragmentiert – sowohl innerhalb als auch zwischen verschiedenen Fachgebieten. Dies erschwert die Bewertung der Bedeutung, Neuartigkeit, inkrementellen Erkenntnisse und äquivalenten Ideen zwischen verwandten Arbeiten, insbesondere solchen aus unterschiedlichen Forschungsgemeinschaften. Große Sprachmodelle (Large Language Models, LLMs) haben kürzlich starke quantitative und qualitative Argumentationsfähigkeiten gezeigt, und Multi-Agenten-LLM-Debatten haben Potenzial bei der Bewältigung komplexer Denkaufgaben durch die Erkundung verschiedener Perspektiven und Argumentationspfade bewiesen. Inspiriert davon stellen wir Tree-of-Debate (ToD) vor, ein Framework, das wissenschaftliche Artikel in LLM-Personen umwandelt, die ihre jeweilige Neuartigkeit debattieren. Um strukturiertes, kritisches Denken zu betonen und sich nicht nur auf Ergebnisse zu konzentrieren, konstruiert ToD dynamisch einen Debattenbaum, der eine detaillierte Analyse unabhängiger Neuheitsargumente innerhalb wissenschaftlicher Artikel ermöglicht. Durch Experimente mit wissenschaftlicher Literatur aus verschiedenen Domänen, die von Experten evaluiert wurden, zeigen wir, dass ToD informative Argumente generiert, effektiv Artikel kontrastiert und Forscher bei ihrer Literaturrecherche unterstützt.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.