생성적 사고의 펜로즈 삼각형 법칙에 도전하는 사고의 모든 것

Everything of Thoughts: Defying the Law of Penrose Triangle for Thought Generation

November 7, 2023

저자: Ruomeng Ding, Chaoyun Zhang, Lu Wang, Yong Xu, Minghua Ma, Wei Zhang, Si Qin, Saravan Rajmohan, Qingwei Lin, Dongmei Zhang

cs.AI

초록

대규모 언어 모델(LLM)의 최근 발전은 복잡한 문제를 "사고"라고 불리는 더 관리 가능한 언어 시퀀스로 분해함으로써 의사결정 과정을 혁신적으로 변화시켰습니다. 효과적인 사고 설계는 성능, 효율성, 유연성이라는 세 가지 핵심 관점을 고려해야 합니다. 그러나 기존의 사고 패러다임은 이 중 최대 두 가지 특성만을 동시에 구현할 수 있습니다. 이러한 한계를 극복하기 위해, 우리는 "모든 사고"(Everything of Thoughts, XoT)라는 새로운 사고 프롬프팅 접근법을 제안합니다. 이는 기존 사고 패러다임의 "펜로즈 삼각형" 법칙을 극복하기 위한 것입니다. XoT는 사전 학습된 강화 학습과 몬테카를로 트리 탐색(MCTS)을 활용하여 외부 도메인 지식을 사고에 통합함으로써 LLM의 능력을 향상시키고, 이를 통해 보이지 않는 문제에 효율적으로 일반화할 수 있도록 합니다. MCTS-LLM 협업 사고 수정 프레임워크를 활용함으로써, 이 접근법은 최소한의 LLM 상호작용으로도 고품질의 포괄적인 인지 매핑을 자율적으로 생성합니다. 또한, XoT는 LLM이 제약 없는 사고를 할 수 있도록 하여, 다중 해결책이 존재하는 문제에 대해 유연한 인지 매핑을 가능하게 합니다.

English

Recent advancements in Large Language Models (LLMs) have revolutionized decision-making by breaking down complex problems into more manageable language sequences referred to as ``thoughts''. An effective thought design should consider three key perspectives: performance, efficiency, and flexibility. However, existing thought can at most exhibit two of these attributes. To address these limitations, we introduce a novel thought prompting approach called ``Everything of Thoughts'' (XoT) to defy the law of ``Penrose triangle of existing thought paradigms. XoT leverages pretrained reinforcement learning and Monte Carlo Tree Search (MCTS) to incorporate external domain knowledge into thoughts, thereby enhancing LLMs' capabilities and enabling them to generalize to unseen problems efficiently. Through the utilization of the MCTS-LLM collaborative thought revision framework, this approach autonomously produces high-quality comprehensive cognitive mappings with minimal LLM interactions. Additionally, XoT empowers LLMs to engage in unconstrained thinking, allowing for flexible cognitive mappings for problems with multiple solutions.