Búfer de Pensamientos: Razonamiento Aumentado con Pensamientos en Modelos de Lenguaje a Gran Escala

Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

June 6, 2024

Autores: Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui

cs.AI

Resumen

Presentamos Buffer of Thoughts (BoT), un enfoque novedoso y versátil de razonamiento aumentado con pensamientos para mejorar la precisión, eficiencia y robustez de los modelos de lenguaje de gran escala (LLMs). Específicamente, proponemos un meta-buffer para almacenar una serie de pensamientos de alto nivel informativos, denominados plantillas de pensamiento, destilados de los procesos de resolución de problemas en diversas tareas. Luego, para cada problema, recuperamos una plantilla de pensamiento relevante y la instanciamos de manera adaptativa con estructuras de razonamiento específicas para llevar a cabo un razonamiento eficiente. Para garantizar la escalabilidad y estabilidad, proponemos además un buffer-manager que actualiza dinámicamente el meta-buffer, mejorando así su capacidad a medida que se resuelven más tareas. Realizamos experimentos exhaustivos en 10 tareas desafiantes intensivas en razonamiento, logrando mejoras significativas en el rendimiento respecto a métodos SOTA anteriores: 11% en Game of 24, 20% en Geometric Shapes y 51% en Checkmate-in-One. Análisis adicionales demuestran la capacidad de generalización superior y la robustez del modelo de nuestro BoT, mientras requiere solo el 12% del costo de los métodos de prompting multi-consulta (por ejemplo, árbol/grafo de pensamientos) en promedio. Notablemente, encontramos que nuestro Llama3-8B+BoT tiene el potencial de superar al modelo Llama3-70B. Nuestro proyecto está disponible en: https://github.com/YangLing0818/buffer-of-thought-llm.

English

We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm