WorldLines: Бенчмаркинг и моделирование долгосрочных воплощенных агентов с состоянием

Аннотация

Чтобы помогать людям в реальных домах в течение длительного времени, воплощённые агенты должны запоминать привычки пользователей, состояния мира и прошлые взаимодействия. Существующие бенчмарки долговременной памяти в основном оценивают языко-ориентированный поиск и ответы на вопросы, в то время как воплощённые бенчмарки часто сосредоточены на выполнении задач с коротким горизонтом, не тестируя использование долговременной памяти в динамических средах. Мы представляем WorldLines — проектно-ориентированный бенчмарк для долгосрочного воплощённого домашнего ассистирования. Он формирует временно расширенные домашние трассы с диалогами, действиями, обратной связью по выполнению, изменениями состояний объектов и устройств, и преобразует их в образцы, привязанные к доказательствам, для Memory QA и воплощённого планирования задач. Далее мы предлагаем ObsMem — рамки памяти, основанные на наблюдателе, которые поддерживают осведомлённые о видимости воспоминания и нативные следы состояний действий для принятия решений с учётом состояния. Эксперименты выявляют устойчивые проблемы с частичной наблюдаемостью, перезаписанными состояниями мира и переводом долговременной памяти в воплощённые планы, в то время как ObsMem предлагает более сильную эталонную архитектуру для этого сценария.

English

To assist humans over extended periods in real homes, embodied agents must remember user routines, world states, and past interactions. Existing long-term memory benchmarks mainly evaluate language-centric retrieval and question answering, while embodied benchmarks often focus on short-horizon task execution without testing long-term memory use in dynamic environments. We introduce WorldLines, a project-driven benchmark for long-horizon embodied household assistance. It constructs temporally extended household traces with dialogues, actions, execution feedback, object and device state changes, and converts them into evidence-linked samples for Memory QA and Embodied Task Planning. We further propose ObsMem, an observer-grounded memory framework that maintains visibility-aware memories and action-native state trails for state-aware decisions. Experiments reveal persistent challenges in partial observability, overwritten world states, and translating long-term memory into embodied plans, while ObsMem offers a stronger reference architecture for this setting.