SayPlan: 3D 장면 그래프를 활용한 대규모 언어 모델 기반 확장 가능한 작업 계획

초록

대규모 언어 모델(LLM)은 다양한 작업을 위한 일반 목적의 계획 에이전트 개발에서 인상적인 결과를 보여주고 있습니다. 그러나 이러한 계획을 넓은 공간, 다층 구조, 그리고 다중 방으로 이루어진 환경에 적용하는 것은 로봇 공학에서 상당한 도전 과제로 남아 있습니다. 우리는 3D 장면 그래프(3DSG) 표현을 사용하여 로봇을 위한 대규모 작업 계획을 LLM 기반으로 수행할 수 있는 확장 가능한 접근 방식인 SayPlan을 소개합니다. 이 접근 방식의 확장성을 보장하기 위해 우리는: (1) 3DSG의 계층적 특성을 활용하여 LLM이 전체 그래프의 축소된 표현에서 작업과 관련된 하위 그래프를 의미론적으로 검색할 수 있도록 하고, (2) 고전적인 경로 계획기를 통합하여 LLM의 계획 범위를 줄이며, (3) 장면 그래프 시뮬레이터로부터의 피드백을 사용하여 초기 계획을 개선하고 실행 불가능한 동작을 수정하며 계획 실패를 방지하는 반복적인 재계획 파이프라인을 도입합니다. 우리는 최대 3층, 36개의 방, 그리고 140개의 객체로 이루어진 두 대규모 환경에서 이 접근 방식을 평가하고, 모바일 매니퓰레이터 로봇이 실행할 수 있는 추상적이고 자연어로 된 지시에서 대규모 장기 작업 계획을 적용할 수 있음을 보여줍니다.

English

Large language models (LLMs) have demonstrated impressive results in developing generalist planning agents for diverse tasks. However, grounding these plans in expansive, multi-floor, and multi-room environments presents a significant challenge for robotics. We introduce SayPlan, a scalable approach to LLM-based, large-scale task planning for robotics using 3D scene graph (3DSG) representations. To ensure the scalability of our approach, we: (1) exploit the hierarchical nature of 3DSGs to allow LLMs to conduct a semantic search for task-relevant subgraphs from a smaller, collapsed representation of the full graph; (2) reduce the planning horizon for the LLM by integrating a classical path planner and (3) introduce an iterative replanning pipeline that refines the initial plan using feedback from a scene graph simulator, correcting infeasible actions and avoiding planning failures. We evaluate our approach on two large-scale environments spanning up to 3 floors, 36 rooms and 140 objects, and show that our approach is capable of grounding large-scale, long-horizon task plans from abstract, and natural language instruction for a mobile manipulator robot to execute.

SayPlan: 3D 장면 그래프를 활용한 대규모 언어 모델 기반 확장 가능한 작업 계획

SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Task Planning

초록

Support