AriGraph: Обучение моделей миров графов знаний с эпизодической памятью для агентов LLM

AriGraph: Learning Knowledge Graph World Models with Episodic Memory for LLM Agents

July 5, 2024

Авторы: Petr Anokhin, Nikita Semenov, Artyom Sorokin, Dmitry Evseev, Mikhail Burtsev, Evgeny Burnaev

cs.AI

Аннотация

Прогресс в области генеративного искусственного интеллекта расширил потенциальные применения больших языковых моделей (LLM) в разработке автономных агентов. Достижение истинной автономности требует накопления и обновления знаний, полученных взаимодействием с окружающей средой, а также их эффективного использования. Существующие подходы на основе LLM используют прошлый опыт с помощью полной истории наблюдений, суммирования или расширения поиска. Однако эти неструктурированные представления памяти не способствуют рассуждениям и планированию, необходимым для сложного принятия решений. В нашем исследовании мы представляем AriGraph, новый метод, в котором агент создает граф памяти, интегрирующий семантическую и эпизодическую память в процессе исследования окружающей среды. Эта структура графа облегчает эффективное ассоциативное извлечение взаимосвязанных концепций, актуальных для текущего состояния и целей агента, и таким образом служит эффективной моделью окружающей среды, улучшающей исследовательские и планировочные возможности агента. Мы демонстрируем, что наш агент Ariadne LLM, оснащенный предложенной архитектурой памяти, дополненной планированием и принятием решений, эффективно справляется с сложными задачами на основе нулевого обучения в среде TextWorld. Наш подход значительно превосходит установленные методы, такие как полная история, суммирование и Генерация с расширением поиска, в различных задачах, включая кулинарное испытание из соревнования First TextWorld Problems, а также новые задачи, такие как уборка дома и поиск сокровищ в головоломке.

English

Advancements in generative AI have broadened the potential applications of Large Language Models (LLMs) in the development of autonomous agents. Achieving true autonomy requires accumulating and updating knowledge gained from interactions with the environment and effectively utilizing it. Current LLM-based approaches leverage past experiences using a full history of observations, summarization or retrieval augmentation. However, these unstructured memory representations do not facilitate the reasoning and planning essential for complex decision-making. In our study, we introduce AriGraph, a novel method wherein the agent constructs a memory graph that integrates semantic and episodic memories while exploring the environment. This graph structure facilitates efficient associative retrieval of interconnected concepts, relevant to the agent's current state and goals, thus serving as an effective environmental model that enhances the agent's exploratory and planning capabilities. We demonstrate that our Ariadne LLM agent, equipped with this proposed memory architecture augmented with planning and decision-making, effectively handles complex tasks on a zero-shot basis in the TextWorld environment. Our approach markedly outperforms established methods such as full-history, summarization, and Retrieval-Augmented Generation in various tasks, including the cooking challenge from the First TextWorld Problems competition and novel tasks like house cleaning and puzzle Treasure Hunting.