AriGraph : Apprentissage de modèles de monde sous forme de graphes de connaissances avec mémoire épisodique pour agents LLM

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

Auteurs: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

Résumé

Les avancées en IA générative ont élargi les applications potentielles des modèles de langage de grande taille (LLMs) dans le développement d'agents autonomes. Atteindre une véritable autonomie nécessite d'accumuler et de mettre à jour les connaissances acquises grâce aux interactions avec l'environnement, ainsi que de les utiliser efficacement. Les approches actuelles basées sur les LLMs exploitent les expériences passées en utilisant un historique complet des observations, des résumés ou une augmentation par récupération. Cependant, ces représentations de mémoire non structurées ne facilitent pas le raisonnement et la planification essentiels pour une prise de décision complexe. Dans notre étude, nous introduisons AriGraph, une méthode novatrice dans laquelle l'agent construit un graphe de mémoire qui intègre des souvenirs sémantiques et épisodiques tout en explorant l'environnement. Cette structure de graphe facilite une récupération associative efficace de concepts interconnectés, pertinents pour l'état actuel et les objectifs de l'agent, servant ainsi de modèle environnemental efficace qui améliore les capacités d'exploration et de planification de l'agent. Nous démontrons que notre agent LLM Ariadne, équipé de cette architecture de mémoire proposée, augmentée par la planification et la prise de décision, gère efficacement des tâches complexes en mode zero-shot dans l'environnement TextWorld. Notre approche surpasse nettement les méthodes établies telles que l'historique complet, le résumé et la génération augmentée par récupération dans diverses tâches, y compris le défi culinaire de la compétition First TextWorld Problems et des tâches inédites comme le nettoyage de maison et la chasse au trésor sous forme de puzzle.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.