Gedankenspeicher: Gedanken-erweitertes Schlussfolgern mit großen Sprachmodellen

Buffer of Thoughts: Thought-Augmented Reasoning with Large Language Models

June 6, 2024

Autoren: Ling Yang, Zhaochen Yu, Tianjun Zhang, Shiyi Cao, Minkai Xu, Wentao Zhang, Joseph E. Gonzalez, Bin Cui

cs.AI

Zusammenfassung

Wir stellen Buffer of Thoughts (BoT) vor, einen neuartigen und vielseitigen Ansatz zur Gedanken-erweiterten Argumentation, um die Genauigkeit, Effizienz und Robustheit großer Sprachmodelle (LLMs) zu verbessern. Konkret schlagen wir ein Meta-Buffer vor, um eine Reihe informativer hochrangiger Gedanken, nämlich Gedanken-Templates, zu speichern, die aus den Problemlösungsprozessen verschiedener Aufgaben destilliert wurden. Für jedes Problem rufen wir dann ein relevantes Gedanken-Template ab und instantiieren es adaptiv mit spezifischen Argumentationsstrukturen, um effiziente Argumentation durchzuführen. Um die Skalierbarkeit und Stabilität zu gewährleisten, schlagen wir weiterhin einen Buffer-Manager vor, um das Meta-Buffer dynamisch zu aktualisieren und somit die Kapazität des Meta-Buffers zu erhöhen, während mehr Aufgaben gelöst werden. Wir führen umfangreiche Experimente zu 10 anspruchsvollen, argumentationsintensiven Aufgaben durch und erzielen signifikante Leistungsverbesserungen gegenüber früheren SOTA-Methoden: 11 % bei Game of 24, 20 % bei Geometrischen Formen und 51 % bei Schachmatt-in-Eins. Weitere Analysen zeigen die überlegene Verallgemeinerungsfähigkeit und Modellrobustheit unseres BoT auf, während im Durchschnitt nur 12 % der Kosten von Multi-Query-Prompting-Methoden (z. B. Baum/Graph von Gedanken) erforderlich sind. Bemerkenswert ist, dass unser Llama3-8B+BoT das Potenzial hat, das Llama3-70B-Modell zu übertreffen. Unser Projekt ist verfügbar unter: https://github.com/YangLing0818/buffer-of-thought-llm

English

We introduce Buffer of Thoughts (BoT), a novel and versatile thought-augmented reasoning approach for enhancing accuracy, efficiency and robustness of large language models (LLMs). Specifically, we propose meta-buffer to store a series of informative high-level thoughts, namely thought-template, distilled from the problem-solving processes across various tasks. Then for each problem, we retrieve a relevant thought-template and adaptively instantiate it with specific reasoning structures to conduct efficient reasoning. To guarantee the scalability and stability, we further propose buffer-manager to dynamically update the meta-buffer, thus enhancing the capacity of meta-buffer as more tasks are solved. We conduct extensive experiments on 10 challenging reasoning-intensive tasks, and achieve significant performance improvements over previous SOTA methods: 11% on Game of 24, 20% on Geometric Shapes and 51% on Checkmate-in-One. Further analysis demonstrate the superior generalization ability and model robustness of our BoT, while requiring only 12% of the cost of multi-query prompting methods (e.g., tree/graph of thoughts) on average. Notably, we find that our Llama3-8B+BoT has the potential to surpass Llama3-70B model. Our project is available at: https://github.com/YangLing0818/buffer-of-thought-llm