Árbol-de-Debate: Árboles de Debate Multi-Persona Fomentan el Pensamiento Crítico para el Análisis Científico Comparativo

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

Autores: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

Resumen

Con el crecimiento exponencial de la investigación facilitado por la tecnología moderna y la mejora en la accesibilidad, los descubrimientos científicos se han vuelto cada vez más fragmentados dentro y entre campos. Esto dificulta la evaluación de la relevancia, novedad, hallazgos incrementales e ideas equivalentes entre trabajos relacionados, especialmente aquellos provenientes de diferentes comunidades de investigación. Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado recientemente una fuerte capacidad de razonamiento cuantitativo y cualitativo, y los debates multiagente basados en LLMs han mostrado potencial para manejar tareas de razonamiento complejo al explorar diversas perspectivas y caminos de razonamiento. Inspirados por esto, presentamos Tree-of-Debate (ToD), un marco que convierte artículos científicos en personajes LLM que debaten sus respectivas novedades. Para enfatizar un razonamiento crítico y estructurado en lugar de centrarse únicamente en los resultados, ToD construye dinámicamente un árbol de debate, permitiendo un análisis detallado de argumentos independientes sobre la novedad dentro de artículos académicos. A través de experimentos en literatura científica de diversos dominios, evaluados por investigadores expertos, demostramos que ToD genera argumentos informativos, contrasta efectivamente los artículos y apoya a los investigadores en su revisión de la literatura.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.