Albero dei Problemi: Migliorare la risoluzione strutturata dei problemi con la composizionalità

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024

Autori: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Abstract

I Grandi Modelli Linguistici (LLM) hanno dimostrato prestazioni notevoli su molteplici compiti attraverso l'apprendimento in contesto. Per compiti di ragionamento complesso che richiedono un pensiero passo dopo passo, la sollecitazione Chain-of-Thought (CoT) ha fornito risultati impressionanti, specialmente quando combinata con l'auto-coerenza. Tuttavia, alcuni compiti rimangono particolarmente difficili da risolvere per i LLM. L'albero dei Pensieri (ToT) e il Grafo dei Pensieri (GoT) sono emersi come alternative, suddividendo il problema complesso in percorsi di sottoproblemi. In questo articolo, proponiamo l'Albero dei Problemi (ToP), una versione più semplice di ToT, che ipotizziamo possa funzionare meglio per compiti complessi che possono essere suddivisi in sottotasks identici. I nostri risultati empirici mostrano che il nostro approccio supera ToT e GoT, e inoltre si comporta meglio di CoT su compiti di ragionamento complesso. Tutto il codice per questo articolo è pubblicamente disponibile qui: https://github.com/ArmelRandy/tree-of-problems.

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.