WorldLines: Benchmarking und Modellierung langfristiger zustandsbehafteter verkörperter Agenten

Zusammenfassung

Um Menschen über längere Zeiträume in realen Haushalten zu unterstützen, müssen verkörperte Agenten Benutzerroutinen, Weltzustände und vergangene Interaktionen speichern. Bestehende Benchmarks für Langzeitgedächtnis bewerten hauptsächlich sprachzentriertes Abrufen und Beantworten von Fragen, während verkörperte Benchmarks sich oft auf kurzzeitige Aufgabenausführung konzentrieren, ohne die Nutzung des Langzeitgedächtnisses in dynamischen Umgebungen zu testen. Wir führen WorldLines ein, einen projektgetriebenen Benchmark für langfristige verkörperte Haushaltsassistenz. Es konstruiert zeitlich ausgedehnte Haushaltsabläufe mit Dialogen, Aktionen, Ausführungsrückmeldungen sowie Objekt- und Gerätezustandsänderungen und wandelt diese in evidenzverknüpfte Proben für Memory QA und verkörperte Aufgabenplanung um. Darüber hinaus schlagen wir ObsMem vor, ein beobachterbasiertes Gedächtnisframework, das sichtbarkeitsbewusste Erinnerungen und aktionsnative Zustandsspuren für zustandsbewusste Entscheidungen aufrechterhält. Experimente zeigen anhaltende Herausforderungen bei teilweiser Beobachtbarkeit, überschriebenen Weltzuständen und der Übersetzung von Langzeitgedächtnis in verkörperte Pläne, während ObsMem eine stärkere Referenzarchitektur für dieses Umfeld bietet.

English

To assist humans over extended periods in real homes, embodied agents must remember user routines, world states, and past interactions. Existing long-term memory benchmarks mainly evaluate language-centric retrieval and question answering, while embodied benchmarks often focus on short-horizon task execution without testing long-term memory use in dynamic environments. We introduce WorldLines, a project-driven benchmark for long-horizon embodied household assistance. It constructs temporally extended household traces with dialogues, actions, execution feedback, object and device state changes, and converts them into evidence-linked samples for Memory QA and Embodied Task Planning. We further propose ObsMem, an observer-grounded memory framework that maintains visibility-aware memories and action-native state trails for state-aware decisions. Experiments reveal persistent challenges in partial observability, overwritten world states, and translating long-term memory into embodied plans, while ObsMem offers a stronger reference architecture for this setting.