Árvore de Debate: Árvores de Debate Multi-Persona Elicitam Pensamento Crítico para Análise Comparativa Científica

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

Autores: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

Resumo

Com o crescimento exponencial da pesquisa facilitado pela tecnologia moderna e maior acessibilidade, as descobertas científicas tornaram-se cada vez mais fragmentadas dentro e entre os campos. Isso torna desafiador avaliar a importância, novidade, descobertas incrementais e ideias equivalentes entre os trabalhos relacionados, especialmente aqueles de diferentes comunidades de pesquisa. Modelos de linguagem grandes (LLMs) demonstraram recentemente fortes habilidades de raciocínio quantitativo e qualitativo, e debates multiagentes de LLM mostraram promessa no tratamento de tarefas de raciocínio complexas ao explorar perspectivas diversas e caminhos de raciocínio. Inspirados por isso, apresentamos a Árvore-de-Debate (ToD), um framework que converte artigos científicos em personas de LLM que debatem suas respectivas novidades. Para enfatizar o raciocínio estruturado e crítico em vez de focar apenas em resultados, o ToD constrói dinamicamente uma árvore de debate, permitindo a análise detalhada de argumentos de novidade independentes dentro de artigos acadêmicos. Através de experimentos na literatura científica em vários domínios, avaliados por pesquisadores especializados, demonstramos que o ToD gera argumentos informativos, contrasta efetivamente artigos e apoia os pesquisadores em suas revisões de literatura.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.