Verkörperte Agenten treffen auf Personalisierung: Untersuchung der Speichernutzung für personalisierte Unterstützung

Embodied Agents Meet Personalization: Exploring Memory Utilization for Personalized Assistance

May 22, 2025

Autoren: Taeyoon Kwon, Dongwook Choi, Sunghwan Kim, Hyojun Kim, Seungjun Moon, Beong-woo Kwak, Kuan-Hao Huang, Jinyoung Yeo

cs.AI

Zusammenfassung

Verkörperte Agenten, die durch große Sprachmodelle (LLMs) unterstützt werden, haben in Aufgaben zur Umordnung von Haushaltsgegenständen starke Leistungen gezeigt. Diese Aufgaben konzentrieren sich jedoch hauptsächlich auf Einzelinteraktionen mit vereinfachten Anweisungen, die die Herausforderungen der Bereitstellung sinnvoller Unterstützung für Benutzer nicht wirklich widerspiegeln. Um personalisierte Unterstützung zu bieten, müssen verkörperte Agenten die einzigartige Semantik verstehen, die Benutzer der physischen Welt zuweisen (z. B. Lieblingstasse, Morgenroutine), indem sie die vorherige Interaktionsgeschichte nutzen, um dynamische, realweltliche Anweisungen zu interpretieren. Dennoch ist die Effektivität verkörperter Agenten bei der Nutzung von Gedächtnis für personalisierte Unterstützung weitgehend unerforscht. Um diese Lücke zu schließen, präsentieren wir MEMENTO, ein Bewertungsrahmen für personalisierte verkörperte Agenten, der darauf abzielt, die Fähigkeiten zur Gedächtnisnutzung umfassend zu bewerten, um personalisierte Unterstützung zu bieten. Unser Rahmenwerk besteht aus einem zweistufigen Prozess zur Gedächtnisbewertung, der es ermöglicht, die Auswirkungen der Gedächtnisnutzung auf die Aufgabenleistung zu quantifizieren. Dieser Prozess ermöglicht die Bewertung des Verständnisses der Agenten für personalisiertes Wissen in Aufgaben zur Umordnung von Gegenständen, indem er sich auf dessen Rolle bei der Zielinterpretation konzentriert: (1) die Fähigkeit, Zielobjekte basierend auf persönlicher Bedeutung (Objektsemantik) zu identifizieren, und (2) die Fähigkeit, Objekt-Standort-Konfigurationen aus konsistenten Benutzermustern, wie Routinen (Benutzermuster), abzuleiten. Unsere Experimente mit verschiedenen LLMs zeigen erhebliche Einschränkungen bei der Gedächtnisnutzung, wobei selbst Spitzenmodelle wie GPT-4o einen Leistungsabfall von 30,5 % erfahren, wenn sie auf mehrere Gedächtnisinhalte verweisen müssen, insbesondere bei Aufgaben, die Benutzermuster betreffen. Diese Erkenntnisse, zusammen mit unseren detaillierten Analysen und Fallstudien, bieten wertvolle Einblicke für zukünftige Forschungen zur Entwicklung effektiverer personalisierter verkörperter Agenten. Projektwebsite: https://connoriginal.github.io/MEMENTO

English

Embodied agents empowered by large language models (LLMs) have shown strong performance in household object rearrangement tasks. However, these tasks primarily focus on single-turn interactions with simplified instructions, which do not truly reflect the challenges of providing meaningful assistance to users. To provide personalized assistance, embodied agents must understand the unique semantics that users assign to the physical world (e.g., favorite cup, breakfast routine) by leveraging prior interaction history to interpret dynamic, real-world instructions. Yet, the effectiveness of embodied agents in utilizing memory for personalized assistance remains largely underexplored. To address this gap, we present MEMENTO, a personalized embodied agent evaluation framework designed to comprehensively assess memory utilization capabilities to provide personalized assistance. Our framework consists of a two-stage memory evaluation process design that enables quantifying the impact of memory utilization on task performance. This process enables the evaluation of agents' understanding of personalized knowledge in object rearrangement tasks by focusing on its role in goal interpretation: (1) the ability to identify target objects based on personal meaning (object semantics), and (2) the ability to infer object-location configurations from consistent user patterns, such as routines (user patterns). Our experiments across various LLMs reveal significant limitations in memory utilization, with even frontier models like GPT-4o experiencing a 30.5% performance drop when required to reference multiple memories, particularly in tasks involving user patterns. These findings, along with our detailed analyses and case studies, provide valuable insights for future research in developing more effective personalized embodied agents. Project website: https://connoriginal.github.io/MEMENTO