AriGraph: Apprendimento di Modelli del Mondo su Grafi di Conoscenza con Memoria Episodica per Agenti LLM

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

Autori: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

Abstract

I progressi nell'IA generativa hanno ampliato le potenziali applicazioni dei Modelli Linguistici di Grande Scala (LLM) nello sviluppo di agenti autonomi. Raggiungere una vera autonomia richiede l'accumulazione e l'aggiornamento delle conoscenze acquisite dalle interazioni con l'ambiente e il loro utilizzo efficace. Gli approcci attuali basati su LLM sfruttano esperienze passate utilizzando una cronologia completa delle osservazioni, la sintesi o l'aumento tramite recupero. Tuttavia, queste rappresentazioni di memoria non strutturate non facilitano il ragionamento e la pianificazione essenziali per il processo decisionale complesso. Nel nostro studio, introduciamo AriGraph, un metodo innovativo in cui l'agente costruisce un grafo di memoria che integra ricordi semantici ed episodici mentre esplora l'ambiente. Questa struttura a grafo facilita un recupero associativo efficiente di concetti interconnessi, rilevanti per lo stato attuale e gli obiettivi dell'agente, fungendo così come un modello ambientale efficace che potenzia le capacità esplorative e di pianificazione dell'agente. Dimostriamo che il nostro agente LLM Ariadne, dotato di questa architettura di memoria proposta e arricchita con pianificazione e processo decisionale, gestisce efficacemente compiti complessi in modalità zero-shot nell'ambiente TextWorld. Il nostro approccio supera nettamente metodi consolidati come la cronologia completa, la sintesi e la Generazione Aumentata tramite Recupero in vari compiti, inclusa la sfida culinaria della competizione First TextWorld Problems e nuovi compiti come la pulizia della casa e la caccia al tesoro con enigmi.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.