AriGraph: Aprendizado de Modelos de Mundo de Grafos de Conhecimento com Memória Episódica para Agentes LLM

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

Autores: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

Resumo

Os avanços na IA generativa ampliaram as potenciais aplicações dos Modelos de Linguagem Grandes (LLMs) no desenvolvimento de agentes autônomos. Alcançar verdadeira autonomia requer acumular e atualizar conhecimento adquirido por interações com o ambiente e utilizá-lo de forma eficaz. As abordagens atuais baseadas em LLM aproveitam experiências passadas usando um histórico completo de observações, sumarização ou aumento por recuperação. No entanto, essas representações de memória não estruturadas não facilitam o raciocínio e planejamento essenciais para tomadas de decisão complexas. Em nosso estudo, apresentamos o AriGraph, um método inovador no qual o agente constrói um grafo de memória que integra memórias semânticas e episódicas enquanto explora o ambiente. Essa estrutura de grafo facilita a recuperação associativa eficiente de conceitos interconectados, relevantes para o estado atual e objetivos do agente, servindo assim como um modelo ambiental eficaz que aprimora as capacidades exploratórias e de planejamento do agente. Demonstramos que nosso agente Ariadne LLM, equipado com essa arquitetura de memória proposta, aumentada com planejamento e tomada de decisão, lida efetivamente com tarefas complexas em uma base de zero-shot no ambiente TextWorld. Nossa abordagem supera significativamente métodos estabelecidos como histórico completo, sumarização e Geração com Recuperação Aumentada em várias tarefas, incluindo o desafio culinário da competição First TextWorld Problems e tarefas inéditas como limpeza de casa e Caça ao Tesouro de quebra-cabeça.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.