Buffer of Thoughts: Ragionamento Aumentato dai Pensieri con Modelli Linguistici di Grande Dimensione

Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

June 6, 2024

Autori: Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui

cs.AI

Abstract

Introduciamo Buffer of Thoughts (BoT), un approccio innovativo e versatile di ragionamento aumentato dai pensieri, progettato per migliorare l'accuratezza, l'efficienza e la robustezza dei modelli linguistici di grandi dimensioni (LLM). Nello specifico, proponiamo un meta-buffer per memorizzare una serie di pensieri di alto livello informativi, denominati thought-template, distillati dai processi di risoluzione dei problemi in vari compiti. Per ogni problema, recuperiamo un thought-template rilevante e lo istanziamo in modo adattivo con strutture di ragionamento specifiche per condurre un ragionamento efficiente. Per garantire scalabilità e stabilità, proponiamo ulteriormente un buffer-manager per aggiornare dinamicamente il meta-buffer, migliorando così la sua capacità man mano che vengono risolti più compiti. Abbiamo condotto esperimenti estesi su 10 compiti impegnativi e intensivi dal punto di vista del ragionamento, ottenendo miglioramenti significativi delle prestazioni rispetto ai metodi SOTA precedenti: 11% su Game of 24, 20% su Geometric Shapes e 51% su Checkmate-in-One. Ulteriori analisi dimostrano la superiore capacità di generalizzazione e la robustezza del modello del nostro BoT, richiedendo solo il 12% del costo dei metodi di prompting multi-query (ad esempio, albero/grafo di pensieri) in media. In particolare, abbiamo riscontrato che il nostro Llama3-8B+BoT ha il potenziale per superare il modello Llama3-70B. Il nostro progetto è disponibile all'indirizzo: https://github.com/YangLing0818/buffer-of-thought-llm.

English

We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm