Problem-Baum: Verbesserung der strukturierten Problemlösung durch Kompositionalität

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024

Autoren: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs) haben durch kontextbezogenes Lernen bemerkenswerte Leistungen über mehrere Aufgaben hinweg gezeigt. Für komplexe Denkaufgaben, die schrittweises Denken erfordern, haben Chain-of-Thought (CoT) Anregungen beeindruckende Ergebnisse geliefert, insbesondere in Kombination mit Selbstkonsistenz. Dennoch bleiben einige Aufgaben besonders schwierig für LLMs zu lösen. Tree of Thoughts (ToT) und Graph of Thoughts (GoT) haben sich als Alternativen herausgebildet, die das komplexe Problem in Pfade von Teilaufgaben unterteilen. In diesem Papier schlagen wir Tree of Problems (ToP) vor, eine einfachere Version von ToT, von der wir vermuten, dass sie für komplexe Aufgaben, die in identische Teilaufgaben unterteilt werden können, besser funktionieren kann. Unsere empirischen Ergebnisse zeigen, dass unser Ansatz ToT und GoT übertrifft und zusätzlich bei komplexen Denkaufgaben besser abschneidet als CoT. Der gesamte Code für dieses Papier ist öffentlich verfügbar unter: https://github.com/ArmelRandy/tree-of-problems.

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.