AriGraph: Aprendizaje de Modelos del Mundo de Grafos de Conocimiento con Memoria Episódica para Agentes LLM

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

Autores: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

Resumen

Los avances en la inteligencia artificial generativa han ampliado las posibles aplicaciones de los Modelos de Lenguaje Extensos (MLE) en el desarrollo de agentes autónomos. Lograr una verdadera autonomía requiere acumular y actualizar el conocimiento adquirido a través de interacciones con el entorno y utilizarlo de manera efectiva. Los enfoques actuales basados en MLE aprovechan experiencias pasadas utilizando un historial completo de observaciones, resumen o mejora de recuperación. Sin embargo, estas representaciones de memoria no estructuradas no facilitan el razonamiento y la planificación necesarios para la toma de decisiones complejas. En nuestro estudio, presentamos AriGraph, un método novedoso en el cual el agente construye un grafo de memoria que integra memorias semánticas y episódicas mientras explora el entorno. Esta estructura de grafo facilita la recuperación asociativa eficiente de conceptos interconectados, relevantes para el estado actual y los objetivos del agente, sirviendo así como un modelo ambiental efectivo que mejora las capacidades exploratorias y de planificación del agente. Demostramos que nuestro agente Ariadne LLE, equipado con esta arquitectura de memoria propuesta mejorada con planificación y toma de decisiones, maneja eficazmente tareas complejas de manera directa en el entorno TextWorld. Nuestro enfoque supera notablemente a métodos establecidos como historial completo, resumen y Generación con Recuperación Mejorada en diversas tareas, incluida el desafío de cocina de la competencia First TextWorld Problems y tareas novedosas como limpieza de casas y búsqueda de tesoros en rompecabezas.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.