Arbre des Problèmes : Améliorer la résolution structurée de problèmes avec la compositionnalité

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024

Auteurs: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Résumé

Les grands modèles de langage (LLMs) ont démontré des performances remarquables sur de multiples tâches grâce à l'apprentissage en contexte. Pour les tâches de raisonnement complexe nécessitant une réflexion étape par étape, les incitations Chain-of-Thought (CoT) ont donné des résultats impressionnants, surtout lorsqu'elles sont combinées à l'auto-consistance. Néanmoins, certaines tâches restent particulièrement difficiles à résoudre pour les LLMs. L'Arbre de Pensées (ToT) et le Graphe de Pensées (GoT) ont émergé comme des alternatives, divisant le problème complexe en chemins de sous-problèmes. Dans cet article, nous proposons l'Arbre de Problèmes (ToP), une version plus simple de ToT, que nous supposons pouvoir mieux fonctionner pour les tâches complexes pouvant être divisées en sous-tâches identiques. Nos résultats empiriques montrent que notre approche surpasse ToT et GoT, et en plus, elle est plus performante que CoT sur des tâches de raisonnement complexe. Tout le code de cet article est disponible publiquement ici : https://github.com/ArmelRandy/tree-of-problems.

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.