Árbol de Problemas: Mejorando la resolución estructurada de problemas con composicionalidad

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024

Autores: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Resumen

Los Modelos de Lenguaje Grandes (LLMs) han demostrado un rendimiento notable en múltiples tareas a través del aprendizaje en contexto. Para tareas de razonamiento complejo que requieren un pensamiento paso a paso, la técnica de Encadenamiento de Pensamientos (CoT) ha dado resultados impresionantes, especialmente cuando se combina con autoconsistencia. Sin embargo, algunas tareas siguen siendo particularmente difíciles de resolver para los LLMs. El Árbol de Pensamientos (ToT) y el Grafo de Pensamientos (GoT) han surgido como alternativas, dividiendo el problema complejo en caminos de subproblemas. En este documento, proponemos el Árbol de Problemas (ToP), una versión más simple de ToT, que hipotetizamos puede funcionar mejor para tareas complejas que pueden dividirse en subtareas idénticas. Nuestros resultados empíricos muestran que nuestro enfoque supera a ToT y GoT, y además tiene un mejor rendimiento que CoT en tareas de razonamiento complejo. Todo el código para este documento está disponible públicamente aquí: https://github.com/ArmelRandy/tree-of-problems.

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.