Buffer de Pensées : Raisonnement Augmenté par les Pensées avec les Grands Modèles de Langage

Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

June 6, 2024

Auteurs: Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui

cs.AI

Résumé

Nous présentons Buffer of Thoughts (BoT), une approche novatrice et polyvalente de raisonnement augmenté par la pensée, visant à améliorer la précision, l'efficacité et la robustesse des grands modèles de langage (LLMs). Plus précisément, nous proposons un méta-buffer pour stocker une série de pensées de haut niveau informatives, appelées modèles de pensée, distillées à partir des processus de résolution de problèmes dans diverses tâches. Ensuite, pour chaque problème, nous récupérons un modèle de pensée pertinent et l'instancions de manière adaptative avec des structures de raisonnement spécifiques pour conduire un raisonnement efficace. Pour garantir l'évolutivité et la stabilité, nous proposons également un gestionnaire de buffer pour mettre à jour dynamiquement le méta-buffer, augmentant ainsi sa capacité à mesure que davantage de tâches sont résolues. Nous menons des expériences approfondies sur 10 tâches complexes nécessitant un raisonnement intensif, et obtenons des améliorations significatives par rapport aux méthodes SOTA précédentes : 11% sur Game of 24, 20% sur Geometric Shapes et 51% sur Checkmate-in-One. Des analyses supplémentaires démontrent la capacité de généralisation supérieure et la robustesse du modèle de notre BoT, tout en nécessitant seulement 12% du coût des méthodes d'invite multi-requêtes (par exemple, arbre/graphe de pensées) en moyenne. Notamment, nous constatons que notre Llama3-8B+BoT a le potentiel de surpasser le modèle Llama3-70B. Notre projet est disponible à l'adresse : https://github.com/YangLing0818/buffer-of-thought-llm.

English

We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm