Tree-of-Debate: Alberi di Dibattito Multi-Persona Stimolano il Pensiero Critico per l'Analisi Comparativa Scientifica

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

Autori: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

Abstract

Con la crescita esponenziale della ricerca facilitata dalla tecnologia moderna e dalla maggiore accessibilità, le scoperte scientifiche sono diventate sempre più frammentate all'interno e tra i vari campi. Ciò rende difficile valutare l'importanza, la novità, i risultati incrementali e le idee equivalenti tra lavori correlati, in particolare quelli provenienti da diverse comunità di ricerca. I modelli linguistici di grandi dimensioni (LLM) hanno recentemente dimostrato forti capacità di ragionamento quantitativo e qualitativo, e i dibattiti multi-agente basati su LLM hanno mostrato potenziale nel gestire compiti di ragionamento complesso esplorando prospettive e percorsi di ragionamento diversi. Ispirati da ciò, introduciamo Tree-of-Debate (ToD), un framework che trasforma i lavori scientifici in "personaggi" LLM che dibattono le rispettive novità. Per enfatizzare un ragionamento critico e strutturato piuttosto che concentrarsi esclusivamente sui risultati, ToD costruisce dinamicamente un albero di dibattito, consentendo un'analisi dettagliata degli argomenti indipendenti sulla novità all'interno degli articoli accademici. Attraverso esperimenti su letteratura scientifica in vari domini, valutati da ricercatori esperti, dimostriamo che ToD genera argomentazioni informative, confronta efficacemente i lavori e supporta i ricercatori nella revisione della letteratura.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.