Дерево дебатов: деревья множественных персонажей дебатов способствуют развитию критического мышления для научного сравнительного анализа.

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

Авторы: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

Аннотация

С экспоненциальным ростом исследований, облегченных современными технологиями и улучшенной доступностью, научные открытия стали все более фрагментированными внутри и между областями. Это затрудняет оценку значимости, новизны, пошаговых результатов и эквивалентных идей между связанными работами, особенно теми, которые принадлежат различным научным сообществам. Большие языковые модели (LLM) недавно продемонстрировали сильные качественные и количественные способности рассуждения, а дебаты между мультиагентными LLM показали потенциал в решении сложных задач рассуждения путем исследования различных точек зрения и путей рассуждения. Вдохновленные этим, мы представляем Tree-of-Debate (ToD), фреймворк, который преобразует научные статьи в персоны LLM, спорящие о своих соответствующих новизнах. Чтобы акцентировать структурированное, критическое рассуждение, а не сосредотачиваться исключительно на результатах, ToD динамически строит дерево дебатов, обеспечивая детальный анализ независимых аргументов о новизне в научных статьях. Через эксперименты с научной литературой в различных областях, оцененными экспертами-исследователями, мы демонстрируем, что ToD генерирует информативные аргументы, эффективно контрастирует статьи и поддерживает исследователей в их обзоре литературы.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.