Древо Мыслей: Осознанное Решение Задач с Помощью Больших Языковых Моделей

Аннотация

Языковые модели всё чаще применяются для решения широкого круга задач, однако во время вывода они по-прежнему ограничены пошаговыми, слева-направо процессами принятия решений. Это означает, что они могут не справляться с задачами, требующими исследования, стратегического предвидения или где начальные решения играют ключевую роль. Чтобы преодолеть эти ограничения, мы представляем новый подход к выводу языковых моделей — «Дерево мыслей» (Tree of Thoughts, ToT), который обобщает популярный метод «Цепочки мыслей» (Chain of Thought) и позволяет исследовать связанные блоки текста (мысли), выступающие промежуточными шагами в решении задач. ToT позволяет языковым моделям принимать обдуманные решения, рассматривая несколько возможных путей рассуждений и самостоятельно оценивая варианты для выбора следующего шага, а также заглядывая вперёд или возвращаясь назад при необходимости для принятия глобальных решений. Наши эксперименты показывают, что ToT значительно улучшает способность языковых моделей решать задачи в трёх новых областях, требующих нетривиального планирования или поиска: игра «24», творческое письмо и мини-кроссворды. Например, в игре «24» GPT-4 с методом «Цепочки мыслей» справился только с 4% задач, тогда как наш метод достиг успеха в 74% случаев. Репозиторий с кодом и всеми промптами: https://github.com/ysymyth/tree-of-thought-llm.

English

Language models are increasingly being deployed for general problem solving across a wide range of tasks, but are still confined to token-level, left-to-right decision-making processes during inference. This means they can fall short in tasks that require exploration, strategic lookahead, or where initial decisions play a pivotal role. To surmount these challenges, we introduce a new framework for language model inference, Tree of Thoughts (ToT), which generalizes over the popular Chain of Thought approach to prompting language models, and enables exploration over coherent units of text (thoughts) that serve as intermediate steps toward problem solving. ToT allows LMs to perform deliberate decision making by considering multiple different reasoning paths and self-evaluating choices to decide the next course of action, as well as looking ahead or backtracking when necessary to make global choices. Our experiments show that ToT significantly enhances language models' problem-solving abilities on three novel tasks requiring non-trivial planning or search: Game of 24, Creative Writing, and Mini Crosswords. For instance, in Game of 24, while GPT-4 with chain-of-thought prompting only solved 4% of tasks, our method achieved a success rate of 74%. Code repo with all prompts: https://github.com/ysymyth/tree-of-thought-llm.

Древо Мыслей: Осознанное Решение Задач с Помощью Больших Языковых Моделей

Tree of Thoughts: Deliberate Problem Solving with Large Language Models

Аннотация

Support