Belichaamde Agents Ontmoeten Personalisatie: Onderzoek naar Geheugengebruik voor Gepersonaliseerde Assistentie

Samenvatting

Geïncarneerde agenten, aangedreven door grote taalmodellen (LLMs), hebben sterke prestaties getoond in taken voor het herschikken van huishoudelijke objecten. Deze taken richten zich echter voornamelijk op enkelvoudige interacties met vereenvoudigde instructies, wat niet echt de uitdagingen weerspiegelt van het bieden van zinvolle ondersteuning aan gebruikers. Om gepersonaliseerde ondersteuning te bieden, moeten geïncarneerde agenten de unieke semantiek begrijpen die gebruikers toekennen aan de fysieke wereld (bijv. favoriete mok, ontbijtroutine) door gebruik te maken van eerdere interactiegeschiedenis om dynamische, real-world instructies te interpreteren. Desalniettemin blijft de effectiviteit van geïncarneerde agenten in het benutten van geheugen voor gepersonaliseerde ondersteuning grotendeels onderbelicht. Om deze kloof te dichten, presenteren we MEMENTO, een evaluatieraamwerk voor gepersonaliseerde geïncarneerde agenten dat is ontworpen om het vermogen om geheugen te benutten voor gepersonaliseerde ondersteuning uitgebreid te beoordelen. Ons raamwerk bestaat uit een ontwerp van een tweestaps geheugenevaluatieproces dat het mogelijk maakt om de impact van geheugengebruik op taakprestaties te kwantificeren. Dit proces maakt de evaluatie mogelijk van het begrip van agenten van gepersonaliseerde kennis in taken voor het herschikken van objecten door te focussen op de rol ervan in doelinterpretatie: (1) het vermogen om doelobjecten te identificeren op basis van persoonlijke betekenis (objectsemantiek), en (2) het vermogen om object-locatieconfiguraties af te leiden uit consistente gebruikerspatronen, zoals routines (gebruikerspatronen). Onze experimenten met verschillende LLMs onthullen aanzienlijke beperkingen in het gebruik van geheugen, waarbij zelfs frontier-modellen zoals GPT-4o een prestatieverlies van 30,5% ervaren wanneer ze meerdere herinneringen moeten raadplegen, met name in taken die gebruikerspatronen betreffen. Deze bevindingen, samen met onze gedetailleerde analyses en casestudies, bieden waardevolle inzichten voor toekomstig onderzoek naar de ontwikkeling van effectievere gepersonaliseerde geïncarneerde agenten. Projectwebsite: https://connoriginal.github.io/MEMENTO

English

Embodied agents empowered by large language models (LLMs) have shown strong performance in household object rearrangement tasks. However, these tasks primarily focus on single-turn interactions with simplified instructions, which do not truly reflect the challenges of providing meaningful assistance to users. To provide personalized assistance, embodied agents must understand the unique semantics that users assign to the physical world (e.g., favorite cup, breakfast routine) by leveraging prior interaction history to interpret dynamic, real-world instructions. Yet, the effectiveness of embodied agents in utilizing memory for personalized assistance remains largely underexplored. To address this gap, we present MEMENTO, a personalized embodied agent evaluation framework designed to comprehensively assess memory utilization capabilities to provide personalized assistance. Our framework consists of a two-stage memory evaluation process design that enables quantifying the impact of memory utilization on task performance. This process enables the evaluation of agents' understanding of personalized knowledge in object rearrangement tasks by focusing on its role in goal interpretation: (1) the ability to identify target objects based on personal meaning (object semantics), and (2) the ability to infer object-location configurations from consistent user patterns, such as routines (user patterns). Our experiments across various LLMs reveal significant limitations in memory utilization, with even frontier models like GPT-4o experiencing a 30.5% performance drop when required to reference multiple memories, particularly in tasks involving user patterns. These findings, along with our detailed analyses and case studies, provide valuable insights for future research in developing more effective personalized embodied agents. Project website: https://connoriginal.github.io/MEMENTO

Belichaamde Agents Ontmoeten Personalisatie: Onderzoek naar Geheugengebruik voor Gepersonaliseerde Assistentie

Embodied Agents Meet Personalization: Exploring Memory Utilization for Personalized Assistance

Samenvatting

Support