思考のバッファー：大規模言語モデルを用いた思考拡張推論

Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

June 6, 2024

著者: Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui

cs.AI

要旨

本論文では、大規模言語モデル（LLM）の精度、効率、堅牢性を向上させるための新規で汎用的な思考拡張推論手法であるBuffer of Thoughts（BoT）を提案する。具体的には、様々なタスクにおける問題解決プロセスから抽出された情報量の多い高レベルな思考、すなわち思考テンプレートを保存するためのメタバッファを導入する。そして、各問題に対して関連する思考テンプレートを検索し、特定の推論構造を適応的にインスタンス化することで効率的な推論を行う。スケーラビリティと安定性を保証するため、バッファマネージャを提案し、メタバッファを動的に更新することで、より多くのタスクが解決されるにつれてメタバッファの容量を強化する。10の難易度の高い推論集中タスクで広範な実験を行い、従来のSOTA手法を大幅に上回る性能向上を達成した：Game of 24で11%、Geometric Shapesで20%、Checkmate-in-Oneで51%の改善を記録した。さらに、BoTの優れた汎化能力とモデルの堅牢性が示され、多クエリプロンプト手法（例：tree/graph of thoughts）の平均コストのわずか12%しか必要としないことが明らかになった。特に、Llama3-8B+BoTがLlama3-70Bモデルを凌駕する可能性があることが判明した。本プロジェクトは以下で公開されている：https://github.com/YangLing0818/buffer-of-thought-llm

English

We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm