WorldLines: 장기적 상태 기반 체화된 에이전트의 벤치마킹 및 모델링

초록

실제 가정에서 장시간 인간을 지원하기 위해 임베디드 에이전트는 사용자 루틴, 세계 상태, 과거 상호작용을 기억해야 한다. 기존 장기 기억 벤치마크는 주로 언어 중심의 검색 및 질의응답을 평가하는 반면, 임베디드 벤치마크는 동적 환경에서 장기 기억 사용을 테스트하지 않고 주로 단기 작업 실행에 초점을 맞춘다. 우리는 장기적 임베디드 가정 지원을 위한 프로젝트 기반 벤치마크인 WorldLines를 소개한다. 이는 대화, 행동, 실행 피드백, 객체 및 기기 상태 변화를 포함한 시간적으로 확장된 가정 추적을 구축하고, 이를 메모리 QA 및 임베디드 태스크 계획을 위한 증거 연결 샘플로 변환한다. 또한 우리는 상태 인식 결정을 위해 가시성 인식 메모리와 행동 고유 상태 흔적을 유지하는 관찰자 기반 메모리 프레임워크인 ObsMem을 제안한다. 실험은 부분 관측 가능성, 덮어쓰여진 세계 상태, 장기 기억을 임베디드 계획으로 변환하는 데 지속적인 도전 과제를 드러내는 반면, ObsMem은 이 설정에 대해 더 강력한 참조 아키텍처를 제공한다.

English

To assist humans over extended periods in real homes, embodied agents must remember user routines, world states, and past interactions. Existing long-term memory benchmarks mainly evaluate language-centric retrieval and question answering, while embodied benchmarks often focus on short-horizon task execution without testing long-term memory use in dynamic environments. We introduce WorldLines, a project-driven benchmark for long-horizon embodied household assistance. It constructs temporally extended household traces with dialogues, actions, execution feedback, object and device state changes, and converts them into evidence-linked samples for Memory QA and Embodied Task Planning. We further propose ObsMem, an observer-grounded memory framework that maintains visibility-aware memories and action-native state trails for state-aware decisions. Experiments reveal persistent challenges in partial observability, overwritten world states, and translating long-term memory into embodied plans, while ObsMem offers a stronger reference architecture for this setting.