STMA: Пространственно-временной агент с памятью для планирования долгосрочных задач в воплощенных системах

STMA: A Spatio-Temporal Memory Agent for Long-Horizon Embodied Task Planning

February 14, 2025

Авторы: Mingcong Lei, Yiming Zhao, Ge Wang, Zhixin Mai, Shuguang Cui, Yatong Han, Jinke Ren

cs.AI

Аннотация

Ключевой целью воплощённого интеллекта является обеспечение способности агентов выполнять долгосрочные задачи в динамических средах, сохраняя при этом устойчивость принятия решений и адаптивность. Для достижения этой цели мы предлагаем агента с пространственно-временной памятью (Spatio-Temporal Memory Agent, STMA) — новую архитектуру, предназначенную для улучшения планирования и выполнения задач за счёт интеграции пространственно-временной памяти. STMA основан на трёх ключевых компонентах: (1) модуль пространственно-временной памяти, который фиксирует исторические и средовые изменения в реальном времени, (2) динамический граф знаний, обеспечивающий адаптивное пространственное рассуждение, и (3) механизм планировщика-критика, который итеративно уточняет стратегии выполнения задач. Мы оцениваем STMA в среде TextWorld на 32 задачах, включающих многошаговое планирование и исследование при различных уровнях сложности. Экспериментальные результаты показывают, что STMA достигает улучшения успешности выполнения задач на 31,25% и увеличения среднего балла на 24,7% по сравнению с современной моделью. Результаты подчеркивают эффективность пространственно-временной памяти в расширении возможностей памяти воплощённых агентов.

English

A key objective of embodied intelligence is enabling agents to perform long-horizon tasks in dynamic environments while maintaining robust decision-making and adaptability. To achieve this goal, we propose the Spatio-Temporal Memory Agent (STMA), a novel framework designed to enhance task planning and execution by integrating spatio-temporal memory. STMA is built upon three critical components: (1) a spatio-temporal memory module that captures historical and environmental changes in real time, (2) a dynamic knowledge graph that facilitates adaptive spatial reasoning, and (3) a planner-critic mechanism that iteratively refines task strategies. We evaluate STMA in the TextWorld environment on 32 tasks, involving multi-step planning and exploration under varying levels of complexity. Experimental results demonstrate that STMA achieves a 31.25% improvement in success rate and a 24.7% increase in average score compared to the state-of-the-art model. The results highlight the effectiveness of spatio-temporal memory in advancing the memory capabilities of embodied agents.