Les agents incarnés à la rencontre de la personnalisation : exploration de l'utilisation de la mémoire pour une assistance personnalisée

Embodied Agents Meet Personalization: Exploring Memory Utilization for Personalized Assistance

May 22, 2025

Auteurs: Taeyoon Kwon, Dongwook Choi, Sunghwan Kim, Hyojun Kim, Seungjun Moon, Beong-woo Kwak, Kuan-Hao Huang, Jinyoung Yeo

cs.AI

Résumé

Les agents incarnés dotés de modèles de langage à grande échelle (LLMs) ont démontré des performances solides dans les tâches de réorganisation d'objets domestiques. Cependant, ces tâches se concentrent principalement sur des interactions en un seul tour avec des instructions simplifiées, ce qui ne reflète pas véritablement les défis liés à l'assistance significative aux utilisateurs. Pour fournir une assistance personnalisée, les agents incarnés doivent comprendre les sémantiques uniques que les utilisateurs attribuent au monde physique (par exemple, la tasse préférée, la routine du petit-déjeuner) en exploitant l'historique des interactions précédentes pour interpréter des instructions dynamiques et ancrées dans le monde réel. Pourtant, l'efficacité des agents incarnés à utiliser la mémoire pour une assistance personnalisée reste largement sous-explorée. Pour combler cette lacune, nous présentons MEMENTO, un cadre d'évaluation d'agents incarnés personnalisés conçu pour évaluer de manière exhaustive les capacités d'utilisation de la mémoire afin de fournir une assistance personnalisée. Notre cadre comprend un processus d'évaluation de la mémoire en deux étapes qui permet de quantifier l'impact de l'utilisation de la mémoire sur la performance des tâches. Ce processus permet d'évaluer la compréhension par les agents des connaissances personnalisées dans les tâches de réorganisation d'objets en se concentrant sur son rôle dans l'interprétation des objectifs : (1) la capacité à identifier des objets cibles en fonction de leur signification personnelle (sémantique des objets), et (2) la capacité à déduire les configurations objet-lieu à partir de modèles d'utilisateurs cohérents, tels que les routines (modèles d'utilisateurs). Nos expériences sur divers LLMs révèlent des limitations significatives dans l'utilisation de la mémoire, avec même des modèles de pointe comme GPT-4o enregistrant une baisse de performance de 30,5 % lorsqu'il est nécessaire de référencer plusieurs souvenirs, en particulier dans les tâches impliquant des modèles d'utilisateurs. Ces résultats, ainsi que nos analyses détaillées et études de cas, fournissent des insights précieux pour les recherches futures visant à développer des agents incarnés personnalisés plus efficaces. Site web du projet : https://connoriginal.github.io/MEMENTO

English

Embodied agents empowered by large language models (LLMs) have shown strong performance in household object rearrangement tasks. However, these tasks primarily focus on single-turn interactions with simplified instructions, which do not truly reflect the challenges of providing meaningful assistance to users. To provide personalized assistance, embodied agents must understand the unique semantics that users assign to the physical world (e.g., favorite cup, breakfast routine) by leveraging prior interaction history to interpret dynamic, real-world instructions. Yet, the effectiveness of embodied agents in utilizing memory for personalized assistance remains largely underexplored. To address this gap, we present MEMENTO, a personalized embodied agent evaluation framework designed to comprehensively assess memory utilization capabilities to provide personalized assistance. Our framework consists of a two-stage memory evaluation process design that enables quantifying the impact of memory utilization on task performance. This process enables the evaluation of agents' understanding of personalized knowledge in object rearrangement tasks by focusing on its role in goal interpretation: (1) the ability to identify target objects based on personal meaning (object semantics), and (2) the ability to infer object-location configurations from consistent user patterns, such as routines (user patterns). Our experiments across various LLMs reveal significant limitations in memory utilization, with even frontier models like GPT-4o experiencing a 30.5% performance drop when required to reference multiple memories, particularly in tasks involving user patterns. These findings, along with our detailed analyses and case studies, provide valuable insights for future research in developing more effective personalized embodied agents. Project website: https://connoriginal.github.io/MEMENTO