問題の木：組成性を活用した構造化された問題解決の改善

要旨

大規模言語モデル（LLMs）は、文脈に即した学習を通じて、複数のタスクで顕著なパフォーマンスを示しています。段階的思考が必要な複雑な推論タスクにおいては、Chain-of-Thought（CoT）プロンプティングが、特に自己整合性と組み合わされた際に印象的な結果をもたらしています。それにもかかわらず、一部のタスクはLLMsにとって特に難しいままです。Thoughts of Tree（ToT）およびThoughts of Graph（GoT）は、複雑な問題をサブ問題のパスに分割する代替手段として登場しました。本論文では、ToTのより単純なバージョンであるTree of Problems（ToP）を提案し、同一のサブタスクに分割できる複雑なタスクに対してより良い機能を発揮すると仮説立てています。実証結果は、提案手法がToTおよびGoTを上回り、さらにCoTよりも複雑な推論タスクで優れたパフォーマンスを発揮することを示しています。本論文のすべてのコードは、こちらで公開されています：https://github.com/ArmelRandy/tree-of-problems。

English

Large Language Models (LLMs) have demonstrated remarkable performance across multiple tasks through in-context learning. For complex reasoning tasks that require step-by-step thinking, Chain-of-Thought (CoT) prompting has given impressive results, especially when combined with self-consistency. Nonetheless, some tasks remain particularly difficult for LLMs to solve. Tree of Thoughts (ToT) and Graph of Thoughts (GoT) emerged as alternatives, dividing the complex problem into paths of subproblems. In this paper, we propose Tree of Problems (ToP), a simpler version of ToT, which we hypothesise can work better for complex tasks that can be divided into identical subtasks. Our empirical results show that our approach outperforms ToT and GoT, and in addition performs better than CoT on complex reasoning tasks. All code for this paper is publicly available here: https://github.com/ArmelRandy/tree-of-problems.

問題の木：組成性を活用した構造化された問題解決の改善

Tree of Problems: Improving structured problem solving with compositionality

要旨

Support