Arbre-de-Débat : Les Arbres de Débat Multi-Personnages Stimulent la Pensée Critique pour l'Analyse Comparative Scientifique

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

Auteurs: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

Résumé

Avec la croissance exponentielle de la recherche facilitée par les technologies modernes et l'amélioration de l'accessibilité, les découvertes scientifiques sont devenues de plus en plus fragmentées, tant au sein des disciplines qu'entre elles. Cela rend difficile l'évaluation de la signification, de la nouveauté, des résultats incrémentaux et des idées équivalentes entre des travaux connexes, en particulier ceux provenant de différentes communautés de recherche. Les grands modèles de langage (LLMs) ont récemment démontré des capacités solides en matière de raisonnement quantitatif et qualitatif, et les débats multi-agents basés sur ces modèles ont montré leur potentiel pour gérer des tâches de raisonnement complexes en explorant des perspectives et des chemins de raisonnement diversifiés. Inspirés par cela, nous introduisons le cadre Tree-of-Debate (ToD), qui transforme les articles scientifiques en personnages LLM débattant de leurs nouveautés respectives. Pour mettre l'accent sur un raisonnement critique structuré plutôt que sur les seuls résultats, ToD construit dynamiquement un arbre de débat, permettant une analyse fine des arguments indépendants de nouveauté dans les articles scientifiques. À travers des expériences sur des littératures scientifiques dans divers domaines, évaluées par des chercheurs experts, nous démontrons que ToD génère des arguments informatifs, met efficacement en contraste les articles et soutient les chercheurs dans leur revue de littérature.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.