Tree-of-Debate: Multi-Persoons Discussieboomen Stimuleren Kritisch Denken voor Wetenschappelijke Vergelijkende Analyse

Tree-of-Debate: Multi-Persona Debate Trees Elicit Critical Thinking for Scientific Comparative Analysis

February 20, 2025

Auteurs: Priyanka Kargupta, Ishika Agarwal, Tal August, Jiawei Han

cs.AI

Samenvatting

Met de exponentiële groei van onderzoek die mogelijk wordt gemaakt door moderne technologie en verbeterde toegankelijkheid, zijn wetenschappelijke ontdekkingen steeds meer gefragmenteerd geraakt, zowel binnen als tussen verschillende vakgebieden. Dit maakt het uitdagend om de betekenis, nieuwigheid, incrementele bevindingen en equivalente ideeën tussen gerelateerde werken te beoordelen, met name die afkomstig zijn uit verschillende onderzoeksgemeenschappen. Grote taalmodellen (LLM's) hebben recentelijk sterke kwantitatieve en kwalitatieve redeneervaardigheden getoond, en debatten tussen multi-agent LLM's hebben potentie getoond in het omgaan met complexe redeneertaken door diverse perspectieven en redeneerpaden te verkennen. Geïnspireerd door dit, introduceren wij Tree-of-Debate (ToD), een raamwerk dat wetenschappelijke artikelen omzet in LLM-persona's die debatteren over hun respectievelijke nieuwigheden. Om gestructureerd, kritisch redeneren te benadrukken in plaats van zich uitsluitend te richten op uitkomsten, bouwt ToD dynamisch een debatboom op, waardoor een fijnmazige analyse van onafhankelijke nieuwheidsargumenten binnen wetenschappelijke artikelen mogelijk wordt. Door experimenten met wetenschappelijke literatuur uit verschillende domeinen, geëvalueerd door expertonderzoekers, tonen we aan dat ToD informatieve argumenten genereert, artikelen effectief met elkaar vergelijkt en onderzoekers ondersteunt bij hun literatuuronderzoek.

English

With the exponential growth of research facilitated by modern technology and improved accessibility, scientific discoveries have become increasingly fragmented within and across fields. This makes it challenging to assess the significance, novelty, incremental findings, and equivalent ideas between related works, particularly those from different research communities. Large language models (LLMs) have recently demonstrated strong quantitative and qualitative reasoning abilities, and multi-agent LLM debates have shown promise in handling complex reasoning tasks by exploring diverse perspectives and reasoning paths. Inspired by this, we introduce Tree-of-Debate (ToD), a framework which converts scientific papers into LLM personas that debate their respective novelties. To emphasize structured, critical reasoning rather than focusing solely on outcomes, ToD dynamically constructs a debate tree, enabling fine-grained analysis of independent novelty arguments within scholarly articles. Through experiments on scientific literature across various domains, evaluated by expert researchers, we demonstrate that ToD generates informative arguments, effectively contrasts papers, and supports researchers in their literature review.