Воплощенные агенты и персонализация: исследование использования памяти для персонализированной помощи

Embodied Agents Meet Personalization: Exploring Memory Utilization for Personalized Assistance

May 22, 2025

Авторы: Taeyoon Kwon, Dongwook Choi, Sunghwan Kim, Hyojun Kim, Seungjun Moon, Beong-woo Kwak, Kuan-Hao Huang, Jinyoung Yeo

cs.AI

Аннотация

Воплощенные агенты, использующие большие языковые модели (LLMs), продемонстрировали высокую производительность в задачах перестановки объектов в домашних условиях. Однако эти задачи в основном сосредоточены на одношаговых взаимодействиях с упрощенными инструкциями, что не отражает в полной мере сложности предоставления значимой помощи пользователям. Для оказания персонализированной помощи воплощенные агенты должны понимать уникальную семантику, которую пользователи приписывают физическому миру (например, любимая чашка, утренний распорядок), используя историю предыдущих взаимодействий для интерпретации динамических инструкций в реальном мире. Тем не менее, эффективность воплощенных агентов в использовании памяти для персонализированной помощи остается недостаточно изученной. Для устранения этого пробела мы представляем MEMENTO, фреймворк для оценки персонализированных воплощенных агентов, предназначенный для всестороннего анализа способностей использования памяти для предоставления персонализированной помощи. Наш фреймворк включает двухэтапный процесс оценки памяти, который позволяет количественно оценить влияние использования памяти на производительность задач. Этот процесс позволяет оценить понимание агентами персонализированных знаний в задачах перестановки объектов, сосредоточившись на их роли в интерпретации целей: (1) способность идентифицировать целевые объекты на основе личного значения (семантика объектов) и (2) способность выводить конфигурации объектов и местоположений на основе устойчивых пользовательских паттернов, таких как распорядки (пользовательские паттерны). Наши эксперименты с различными LLMs выявили значительные ограничения в использовании памяти, причем даже передовые модели, такие как GPT-4o, демонстрируют снижение производительности на 30,5%, когда требуется обращение к нескольким воспоминаниям, особенно в задачах, связанных с пользовательскими паттернами. Эти результаты, наряду с нашими подробными анализами и кейс-стадиями, предоставляют ценные инсайты для будущих исследований в разработке более эффективных персонализированных воплощенных агентов. Сайт проекта: https://connoriginal.github.io/MEMENTO

English

Embodied agents empowered by large language models (LLMs) have shown strong performance in household object rearrangement tasks. However, these tasks primarily focus on single-turn interactions with simplified instructions, which do not truly reflect the challenges of providing meaningful assistance to users. To provide personalized assistance, embodied agents must understand the unique semantics that users assign to the physical world (e.g., favorite cup, breakfast routine) by leveraging prior interaction history to interpret dynamic, real-world instructions. Yet, the effectiveness of embodied agents in utilizing memory for personalized assistance remains largely underexplored. To address this gap, we present MEMENTO, a personalized embodied agent evaluation framework designed to comprehensively assess memory utilization capabilities to provide personalized assistance. Our framework consists of a two-stage memory evaluation process design that enables quantifying the impact of memory utilization on task performance. This process enables the evaluation of agents' understanding of personalized knowledge in object rearrangement tasks by focusing on its role in goal interpretation: (1) the ability to identify target objects based on personal meaning (object semantics), and (2) the ability to infer object-location configurations from consistent user patterns, such as routines (user patterns). Our experiments across various LLMs reveal significant limitations in memory utilization, with even frontier models like GPT-4o experiencing a 30.5% performance drop when required to reference multiple memories, particularly in tasks involving user patterns. These findings, along with our detailed analyses and case studies, provide valuable insights for future research in developing more effective personalized embodied agents. Project website: https://connoriginal.github.io/MEMENTO