AriGraph: Erlernen von Wissensgraph-Weltmodellen mit episodischem Gedächtnis für LLM-Agenten

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

Autoren: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

Zusammenfassung

Fortschritte in der generativen KI haben das Potenzial der Anwendungen von Large Language Models (LLMs) bei der Entwicklung autonomer Agenten erweitert. Wahre Autonomie zu erreichen erfordert das Sammeln und Aktualisieren von Wissen, das aus Interaktionen mit der Umgebung gewonnen wird, und dessen effektive Nutzung. Aktuelle LLM-basierte Ansätze nutzen vergangene Erfahrungen mithilfe eines vollständigen Verlaufs von Beobachtungen, Zusammenfassung oder Abrufverstärkung. Diese unstrukturierten Speicherrepräsentationen erleichtern jedoch nicht das Denken und Planen, die für komplexe Entscheidungsfindungen wesentlich sind. In unserer Studie stellen wir AriGraph vor, eine neuartige Methode, bei der der Agent einen Gedächtnisgraphen erstellt, der semantische und episodische Erinnerungen integriert, während er die Umgebung erkundet. Diese Graphenstruktur erleichtert ein effizientes assoziatives Abrufen von miteinander verbundenen Konzepten, die für den aktuellen Zustand und die Ziele des Agenten relevant sind, und dient somit als effektives Umgebungsmodell, das die explorativen und planerischen Fähigkeiten des Agenten verbessert. Wir zeigen, dass unser Ariadne LLM-Agent, ausgestattet mit dieser vorgeschlagenen Gedächtnisarchitektur, die um Planung und Entscheidungsfindung erweitert wurde, komplexe Aufgaben auf Nullbasis in der TextWorld-Umgebung effektiv bewältigt. Unser Ansatz übertrifft etablierte Methoden wie Vollverlauf, Zusammenfassung und Abrufverstärkte Generierung in verschiedenen Aufgaben, einschließlich der Kochherausforderung aus dem Wettbewerb First TextWorld Problems und neuartigen Aufgaben wie Hausreinigung und Rätsel-Schatzsuche deutlich.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.