OlaGPT: 인간과 유사한 문제 해결 능력으로 LLM 강화하기

초록

현재 대부분의 연구에서, 대규모 언어 모델(LLM)은 특정 프롬프트의 지도를 통해 사고의 연쇄를 생성함으로써 추론 작업을 수행할 수 있습니다. 그러나 복잡한 추론 문제를 해결하는 데 있어 그들의 능력과 인간의 능력 사이에는 여전히 상당한 차이가 존재합니다. 현재 대부분의 접근 방식은 사고의 연쇄(COT)와 도구 사용에 초점을 맞추고 있으며, 인간의 인지 프레임워크의 채택과 적용은 고려하지 않고 있습니다. 복잡한 추론 과제에 직면할 때, 인간은 일반적으로 다양한 인지 능력을 활용하며, 복잡한 작업을 완수하기 위해 도구, 지식, 외부 환경 정보 등 모든 측면과의 상호작용이 필요하다는 것은 잘 알려져 있습니다. 본 논문은 OlaGPT라고 명명된 새로운 지능형 프레임워크를 소개합니다. OlaGPT는 인지 아키텍처 프레임워크를 면밀히 연구하고, 인간 인지의 특정 측면을 시뮬레이션하는 것을 제안합니다. 이 프레임워크는 주의, 기억, 추론, 학습 및 이에 상응하는 스케줄링과 의사결정 메커니즘을 포함한 다양한 인지 모듈을 근사화하는 것을 포함합니다. 인간의 능동적 학습 메커니즘에서 영감을 받아, 이전의 실수와 전문가의 의견을 기록하고 이를 동적으로 참조하여 유사한 문제를 해결하는 능력을 강화하기 위한 학습 단위를 제안합니다. 또한, 본 논문은 인간의 문제 해결을 위한 일반적인 효과적인 추론 프레임워크를 개괄하고, 이에 따라 사고의 연쇄(COT) 템플릿을 설계합니다. 모델의 정확도를 극대화하기 위한 포괄적인 의사결정 메커니즘도 제안됩니다. OlaGPT의 효능은 여러 추론 데이터셋에서 엄격하게 평가되었으며, 실험 결과는 OlaGPT가 최첨단 벤치마크를 능가하는 우수한 성능을 보여줍니다. OlaGPT의 구현은 GitHub에서 확인할 수 있습니다: https://github.com/oladata-team/OlaGPT.

English

In most current research, large language models (LLMs) are able to perform reasoning tasks by generating chains of thought through the guidance of specific prompts. However, there still exists a significant discrepancy between their capability in solving complex reasoning problems and that of humans. At present, most approaches focus on chains of thought (COT) and tool use, without considering the adoption and application of human cognitive frameworks. It is well-known that when confronting complex reasoning challenges, humans typically employ various cognitive abilities, and necessitate interaction with all aspects of tools, knowledge, and the external environment information to accomplish intricate tasks. This paper introduces a novel intelligent framework, referred to as OlaGPT. OlaGPT carefully studied a cognitive architecture framework, and propose to simulate certain aspects of human cognition. The framework involves approximating different cognitive modules, including attention, memory, reasoning, learning, and corresponding scheduling and decision-making mechanisms. Inspired by the active learning mechanism of human beings, it proposes a learning unit to record previous mistakes and expert opinions, and dynamically refer to them to strengthen their ability to solve similar problems. The paper also outlines common effective reasoning frameworks for human problem-solving and designs Chain-of-Thought (COT) templates accordingly. A comprehensive decision-making mechanism is also proposed to maximize model accuracy. The efficacy of OlaGPT has been stringently evaluated on multiple reasoning datasets, and the experimental outcomes reveal that OlaGPT surpasses state-of-the-art benchmarks, demonstrating its superior performance. Our implementation of OlaGPT is available on GitHub: https://github.com/oladata-team/OlaGPT.

OlaGPT: 인간과 유사한 문제 해결 능력으로 LLM 강화하기

OlaGPT: Empowering LLMs With Human-like Problem-Solving Abilities

초록

Support