Дерево проблем: улучшение структурированного решения проблем с помощью композициональности

Tree of Problems: Improving structured problem solving with compositionality

October 9, 2024

Авторы: Armel Zebaze, Benoît Sagot, Rachel Bawden

cs.AI

Аннотация

Большие языковые модели (LLM) продемонстрировали выдающуюся производительность в различных задачах благодаря обучению в контексте. Для сложных задач рассуждения, требующих пошагового мышления, использование метода Chain-of-Thought (CoT) привело к впечатляющим результатам, особенно при комбинировании с самоконсистентностью. Тем не менее, некоторые задачи остаются особенно сложными для LLM. Как альтернативы возникли Tree of Thoughts (ToT) и Graph of Thoughts (GoT), разбивающие сложную проблему на пути подзадач. В данной статье мы предлагаем Tree of Problems (ToP), более простую версию ToT, которая, как мы предполагаем, может лучше справляться с сложными задачами, разделяемыми на идентичные подзадачи. Наши эмпирические результаты показывают, что наш подход превосходит ToT и GoT, а также демонстрирует лучшую производительность по сравнению с CoT в задачах сложного рассуждения. Весь код для данной статьи доступен публично здесь: https://github.com/ArmelRandy/tree-of-problems.

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.