Statler: 상태 유지 언어 모델을 활용한 실체적 추론

초록

대형 언어 모델(LLMs)은 로봇이 복잡한 추론 작업을 수행할 수 있도록 하는 유망한 도구를 제공합니다. 그러나 현대 LLM의 제한된 컨텍스트 윈도우는 장기간에 걸친 추론을 어렵게 만듭니다. 가정용 로봇이 수행할 것으로 예상되는 작업과 같은 구체적 작업은 일반적으로 플래너가 오래 전에 획득한 정보(예: 로봇이 이전에 환경에서 마주한 다양한 객체의 속성)를 고려해야 합니다. LLM의 암묵적 내부 표현을 사용하여 세계 상태를 포착하려는 시도는 로봇의 행동 기록에 포함된 작업 및 환경 관련 정보의 부족으로 인해 복잡해지며, 프롬프트를 통해 LLM에 정보를 전달하는 방법은 제한된 컨텍스트 윈도우의 영향을 받습니다. 본 논문에서는 LLM에 시간이 지남에 따라 유지되는 "메모리" 형태의 명시적 세계 상태 표현을 부여하는 Statler 프레임워크를 제안합니다. Statler의 핵심은 세계 상태와 상호작용하며 이를 유지하는 두 개의 일반 LLM 인스턴스(세계 모델 리더와 세계 모델 라이터)를 사용하는 것입니다. 이 세계 상태 "메모리"에 대한 접근을 제공함으로써, Statler는 기존 LLM의 컨텍스트 길이 제약 없이 장기간에 걸친 추론 능력을 향상시킵니다. 우리는 시뮬레이션된 테이블탑 조작 도메인 세 가지와 실제 로봇 도메인에서 우리의 접근 방식의 효과를 평가하고, LLM 기반 로봇 추론 분야에서 최신 기술을 개선함을 보여줍니다. 프로젝트 웹사이트: https://statler-lm.github.io/

English

Large language models (LLMs) provide a promising tool that enable robots to perform complex robot reasoning tasks. However, the limited context window of contemporary LLMs makes reasoning over long time horizons difficult. Embodied tasks such as those that one might expect a household robot to perform typically require that the planner consider information acquired a long time ago (e.g., properties of the many objects that the robot previously encountered in the environment). Attempts to capture the world state using an LLM's implicit internal representation is complicated by the paucity of task- and environment-relevant information available in a robot's action history, while methods that rely on the ability to convey information via the prompt to the LLM are subject to its limited context window. In this paper, we propose Statler, a framework that endows LLMs with an explicit representation of the world state as a form of ``memory'' that is maintained over time. Integral to Statler is its use of two instances of general LLMs -- a world-model reader and a world-model writer -- that interface with and maintain the world state. By providing access to this world state ``memory'', Statler improves the ability of existing LLMs to reason over longer time horizons without the constraint of context length. We evaluate the effectiveness of our approach on three simulated table-top manipulation domains and a real robot domain, and show that it improves the state-of-the-art in LLM-based robot reasoning. Project website: https://statler-lm.github.io/

Statler: 상태 유지 언어 모델을 활용한 실체적 추론

Statler: State-Maintaining Language Models for Embodied Reasoning

초록

Support