생각의 버퍼: 대규모 언어 모델을 활용한 사고 증강 추론

Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

June 6, 2024

저자: Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui

cs.AI

초록

우리는 대규모 언어 모델(LLM)의 정확성, 효율성 및 견고성을 향상시키기 위한 새로운 다목적 사고 증강 추론 접근법인 Buffer of Thoughts (BoT)를 소개합니다. 구체적으로, 우리는 다양한 작업에서 문제 해결 과정을 통해 추출된 정보가 풍부한 고차원 사고, 즉 사고 템플릿(thought-template)을 저장하기 위한 메타 버퍼(meta-buffer)를 제안합니다. 이후 각 문제에 대해 관련된 사고 템플릿을 검색하고, 이를 특정 추론 구조로 적응적으로 인스턴스화하여 효율적인 추론을 수행합니다. 확장성과 안정성을 보장하기 위해, 우리는 메타 버퍼의 용량을 더 많은 작업이 해결됨에 따라 강화하기 위해 버퍼 관리자(buffer-manager)를 동적으로 업데이트하는 방안을 추가로 제안합니다. 우리는 10개의 도전적인 추론 집중 작업에 대한 광범위한 실험을 수행하였으며, 이전의 최신 기술(SOTA) 방법 대비 상당한 성능 향상을 달성했습니다: Game of 24에서 11%, Geometric Shapes에서 20%, Checkmate-in-One에서 51%의 성능 향상을 보였습니다. 추가 분석을 통해 우리의 BoT가 우수한 일반화 능력과 모델 견고성을 보여주는 동시에, 다중 쿼리 프롬프팅 방법(예: tree/graph of thoughts) 대비 평균 12%의 비용만을 요구함을 입증했습니다. 특히, Llama3-8B+BoT가 Llama3-70B 모델을 능가할 잠재력이 있음을 발견했습니다. 우리의 프로젝트는 https://github.com/YangLing0818/buffer-of-thought-llm에서 확인할 수 있습니다.

English

We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm