AriGraph: Het leren van kennisgraaf-wereldmodellen met episodisch geheugen voor LLM-agenten

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

Auteurs: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

Samenvatting

Vooruitgang in generatieve AI heeft het potentieel van Large Language Models (LLMs) voor de ontwikkeling van autonome agents uitgebreid. Het bereiken van echte autonomie vereist het verzamelen en bijwerken van kennis die wordt opgedaan uit interacties met de omgeving en het effectief benutten daarvan. Huidige LLM-gebaseerde benaderingen maken gebruik van eerdere ervaringen door middel van een volledige geschiedenis van observaties, samenvattingen of retrieval-augmentatie. Deze ongestructureerde geheugenrepresentaties faciliteren echter niet het redeneren en plannen dat essentieel is voor complexe besluitvorming. In onze studie introduceren we AriGraph, een nieuwe methode waarbij de agent een geheugengrafiek construeert die semantische en episodische herinneringen integreert tijdens het verkennen van de omgeving. Deze grafiekstructuur maakt efficiënte associatieve retrieval mogelijk van onderling verbonden concepten, relevant voor de huidige staat en doelen van de agent, en fungeert zo als een effectief omgevingsmodel dat de verkennings- en planningscapaciteiten van de agent verbetert. We tonen aan dat onze Ariadne LLM-agent, uitgerust met deze voorgestelde geheugenarchitectuur versterkt met plannings- en besluitvormingsmogelijkheden, complexe taken effectief afhandelt op een zero-shot basis in de TextWorld-omgeving. Onze aanpak overtreft aanzienlijk gevestigde methoden zoals volledige geschiedenis, samenvatting en Retrieval-Augmented Generation in diverse taken, waaronder de kookuitdaging van de First TextWorld Problems-competitie en nieuwe taken zoals huishoudelijk schoonmaken en de puzzel Treasure Hunting.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.