Árvore de Problemas: Melhorando a resolução estruturada de problemas com composicionalidade

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024

Autores: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Resumo

Grandes Modelos de Linguagem (LLMs) têm demonstrado um desempenho notável em várias tarefas por meio de aprendizado contextual. Para tarefas de raciocínio complexo que exigem um pensamento passo a passo, a técnica de Encadeamento de Pensamento (CoT) tem apresentado resultados impressionantes, especialmente quando combinada com autoconsistência. No entanto, algumas tarefas permanecem particularmente difíceis para os LLMs resolverem. A Árvore de Pensamentos (ToT) e o Grafo de Pensamentos (GoT) surgiram como alternativas, dividindo o problema complexo em caminhos de subproblemas. Neste artigo, propomos a Árvore de Problemas (ToP), uma versão mais simples da ToT, que hipotetizamos que pode funcionar melhor para tarefas complexas que podem ser divididas em sub tarefas idênticas. Nossos resultados empíricos mostram que nossa abordagem supera a ToT e o GoT, e além disso, tem um desempenho superior ao CoT em tarefas de raciocínio complexas. Todo o código para este artigo está publicamente disponível aqui: https://github.com/ArmelRandy/tree-of-problems.

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.