Probleemboom: Het verbeteren van gestructureerd probleemoplossen met samenstelbaarheid

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024

Auteurs: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Samenvatting

Grote Taalmodellen (LLM's) hebben opmerkelijke prestaties laten zien bij verschillende taken door middel van leren in context. Voor complexe redeneertaken die stapsgewijs denken vereisen, heeft Chain-of-Thought (CoT) prompting indrukwekkende resultaten opgeleverd, vooral wanneer gecombineerd met zelfconsistentie. Desalniettemin blijven sommige taken bijzonder moeilijk voor LLM's om op te lossen. Tree of Thoughts (ToT) en Graph of Thoughts (GoT) zijn naar voren gekomen als alternatieven, waarbij het complexe probleem wordt opgedeeld in paden van deelproblemen. In dit artikel stellen we Tree of Problems (ToP) voor, een eenvoudigere versie van ToT, waarvan we vermoeden dat deze beter kan werken voor complexe taken die kunnen worden opgedeeld in identieke subtaken. Onze empirische resultaten tonen aan dat onze benadering beter presteert dan ToT en GoT, en bovendien beter presteert dan CoT bij complexe redeneertaken. Alle code voor dit artikel is openbaar beschikbaar op: https://github.com/ArmelRandy/tree-of-problems.

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.