AriGraph: 에피소딕 메모리를 활용한 지식 그래프 세계 모델 학습 및 LLM 에이전트 적용

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

저자: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

초록

생성형 AI의 발전으로 인해 대형 언어 모델(LLM)을 활용한 자율 에이전트 개발의 잠재적 응용 범위가 크게 확대되었습니다. 진정한 자율성을 달성하기 위해서는 환경과의 상호작용을 통해 얻은 지식을 축적하고 업데이트하며 이를 효과적으로 활용해야 합니다. 현재의 LLM 기반 접근법은 관찰 기록 전체, 요약 또는 검색 보강을 통해 과거 경험을 활용하고 있습니다. 그러나 이러한 비구조화된 메모리 표현은 복잡한 의사결정에 필수적인 추론과 계획을 용이하게 하지 못합니다. 본 연구에서는 에이전트가 환경을 탐색하면서 의미적 기억과 사건 기억을 통합한 메모리 그래프를 구축하는 새로운 방법인 AriGraph를 소개합니다. 이 그래프 구조는 에이전트의 현재 상태와 목표와 관련된 상호 연결된 개념들의 효율적인 연상 검색을 가능하게 하여, 에이전트의 탐색 및 계획 능력을 향상시키는 효과적인 환경 모델 역할을 합니다. 우리는 제안된 메모리 아키텍처에 계획 및 의사결정 기능을 보강한 Ariadne LLM 에이전트가 TextWorld 환경에서 제로샷 기반으로 복잡한 작업을 효과적으로 처리함을 입증했습니다. 우리의 접근법은 First TextWorld Problems 대회의 요리 챌린지와 같은 다양한 작업뿐만 아니라 집 청소 및 퍼즐 보물 찾기와 같은 새로운 작업에서도 전체 기록, 요약, 검색 보강 생성과 같은 기존 방법들을 크게 능가하는 성능을 보였습니다.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.