Alles der Gedanken: Das Gesetz des Penrose-Dreiecks für die Gedankengenerierung herausfordern

Everything of Thoughts: Defying the Law of Penrose Triangle for Thought Generation

November 7, 2023

Autoren: Ruomeng Ding, Chaoyun Zhang, Lu Wang, Yong Xu, Minghua Ma, Wei Zhang, Si Qin, Saravan Rajmohan, Qingwei Lin, Dongmei Zhang

cs.AI

Zusammenfassung

Jüngste Fortschritte bei Large Language Models (LLMs) haben die Entscheidungsfindung revolutioniert, indem komplexe Probleme in besser handhabbare Sprachsequenzen, sogenannte „Gedanken“, zerlegt werden. Ein effektives Gedankendesign sollte drei Schlüsselperspektiven berücksichtigen: Leistung, Effizienz und Flexibilität. Bisherige Ansätze können jedoch höchstens zwei dieser Attribute gleichzeitig aufweisen. Um diese Einschränkungen zu überwinden, führen wir einen neuartigen Gedankenprompting-Ansatz namens „Everything of Thoughts“ (XoT) ein, der das Gesetz des „Penrose-Dreiecks bestehender Gedankenparadigmen“ durchbricht. XoT nutzt vortrainiertes Reinforcement Learning und Monte Carlo Tree Search (MCTS), um externes Domänenwissen in Gedanken zu integrieren und so die Fähigkeiten von LLMs zu erweitern, sodass sie effizient auf unbekannte Probleme verallgemeinern können. Durch die Nutzung des MCTS-LLM-Kollaborationsframeworks zur Gedankenrevision erzeugt dieser Ansatz autonom hochwertige, umfassende kognitive Abbildungen mit minimalen LLM-Interaktionen. Darüber hinaus ermöglicht XoT LLMs, unbegrenztes Denken zu betreiben, was flexible kognitive Abbildungen für Probleme mit mehreren Lösungen ermöglicht.

English

Recent advancements in Large Language Models (LLMs) have revolutionized decision-making by breaking down complex problems into more manageable language sequences referred to as ``thoughts''. An effective thought design should consider three key perspectives: performance, efficiency, and flexibility. However, existing thought can at most exhibit two of these attributes. To address these limitations, we introduce a novel thought prompting approach called ``Everything of Thoughts'' (XoT) to defy the law of ``Penrose triangle of existing thought paradigms. XoT leverages pretrained reinforcement learning and Monte Carlo Tree Search (MCTS) to incorporate external domain knowledge into thoughts, thereby enhancing LLMs' capabilities and enabling them to generalize to unseen problems efficiently. Through the utilization of the MCTS-LLM collaborative thought revision framework, this approach autonomously produces high-quality comprehensive cognitive mappings with minimal LLM interactions. Additionally, XoT empowers LLMs to engage in unconstrained thinking, allowing for flexible cognitive mappings for problems with multiple solutions.