Буфер мыслей: мысле-дополненное рассуждение с использованием больших языковых моделей

Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

June 6, 2024

Авторы: Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui

cs.AI

Аннотация

Мы представляем Буфер Мыслей (BoT) - новый и универсальный подход к мыслеобогащенному рассуждению для повышения точности, эффективности и устойчивости больших языковых моделей (LLM). Конкретно, мы предлагаем мета-буфер для хранения ряда информативных высокоуровневых мыслей, так называемых мысле-шаблонов, вытекающих из процессов решения проблем на различных задачах. Затем для каждой проблемы мы извлекаем соответствующий мысле-шаблон и адаптивно инстанциируем его с конкретными структурами рассуждений для проведения эффективного рассуждения. Для обеспечения масштабируемости и стабильности мы дополнительно предлагаем менеджер буфера для динамического обновления мета-буфера, тем самым увеличивая его емкость по мере решения новых задач. Мы провели обширные эксперименты на 10 сложных задачах, требующих рассуждений, и достигли значительного улучшения производительности по сравнению с предыдущими методами SOTA: на 11% в игре 24, на 20% в Геометрических Фигурах и на 51% в Мат в один ход. Дополнительный анализ показывает превосходную обобщающую способность и устойчивость нашего BoT, требуя при этом лишь 12% затрат по сравнению с методами мультизапросного подсказывания (например, дерево/граф мыслей) в среднем. Особенно стоит отметить, что наша модель Llama3-8B+BoT имеет потенциал превзойти модель Llama3-70B. Наш проект доступен по адресу: https://github.com/YangLing0818/buffer-of-thought-llm

English

We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm