AriGraph: エピソード記憶を活用したLLMエージェント向け知識グラフ世界モデルの学習

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

著者: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

要旨

生成AIの進歩により、自律エージェントの開発における大規模言語モデル（LLM）の潜在的な応用範囲が広がっています。真の自律性を達成するためには、環境との相互作用から得た知識を蓄積し、更新し、それを効果的に活用することが必要です。現在のLLMベースのアプローチでは、観測の完全な履歴、要約、または検索拡張を用いて過去の経験を活用しています。しかし、これらの非構造化されたメモリ表現は、複雑な意思決定に不可欠な推論と計画を容易にはしません。本研究では、AriGraphという新しい手法を紹介します。この手法では、エージェントが環境を探索しながら、意味的記憶とエピソード記憶を統合したメモリグラフを構築します。このグラフ構造は、エージェントの現在の状態と目標に関連する相互接続された概念の効率的な連想検索を可能にし、エージェントの探索能力と計画能力を向上させる効果的な環境モデルとして機能します。私たちは、提案されたメモリアーキテクチャに計画と意思決定を組み込んだAriadne LLMエージェントが、TextWorld環境においてゼロショットベースで複雑なタスクを効果的に処理することを実証しました。私たちのアプローチは、完全履歴、要約、検索拡張生成などの確立された手法を、First TextWorld Problemsコンペティションの料理チャレンジや、家の掃除やパズルトレジャーハンティングなどの新しいタスクを含むさまざまなタスクにおいて顕著に上回りました。

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.