SayPlan: Fundamentando Modelos de Linguagem de Grande Escala usando Grafos de Cena 3D para Planejamento de Tarefas Escalável

SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Task Planning

July 12, 2023

Autores: Krishan Rana, Jesse Haviland, Sourav Garg, Jad Abou-Chakra, Ian Reid, Niko Suenderhauf

cs.AI

Resumo

Modelos de linguagem de grande escala (LLMs) têm demonstrado resultados impressionantes no desenvolvimento de agentes planejadores generalistas para tarefas diversas. No entanto, ancorar esses planos em ambientes expansivos, com múltiplos andares e múltiplos cômodos, representa um desafio significativo para a robótica. Apresentamos o SayPlan, uma abordagem escalável para planejamento de tarefas em grande escala baseado em LLMs para robótica, utilizando representações de grafos de cena 3D (3DSG). Para garantir a escalabilidade da nossa abordagem, nós: (1) exploramos a natureza hierárquica dos 3DSGs para permitir que os LLMs realizem uma busca semântica por subgrafos relevantes para a tarefa a partir de uma representação reduzida e condensada do grafo completo; (2) reduzimos o horizonte de planejamento para o LLM ao integrar um planejador de caminhos clássico; e (3) introduzimos um pipeline de replanejamento iterativo que refina o plano inicial utilizando feedback de um simulador de grafo de cena, corrigindo ações inviáveis e evitando falhas de planejamento. Avaliamos nossa abordagem em dois ambientes de grande escala, abrangendo até 3 andares, 36 cômodos e 140 objetos, e demonstramos que nossa abordagem é capaz de ancorar planos de tarefas de grande escala e longo horizonte a partir de instruções abstratas e em linguagem natural para a execução por um robô manipulador móvel.

English

Large language models (LLMs) have demonstrated impressive results in developing generalist planning agents for diverse tasks. However, grounding these plans in expansive, multi-floor, and multi-room environments presents a significant challenge for robotics. We introduce SayPlan, a scalable approach to LLM-based, large-scale task planning for robotics using 3D scene graph (3DSG) representations. To ensure the scalability of our approach, we: (1) exploit the hierarchical nature of 3DSGs to allow LLMs to conduct a semantic search for task-relevant subgraphs from a smaller, collapsed representation of the full graph; (2) reduce the planning horizon for the LLM by integrating a classical path planner and (3) introduce an iterative replanning pipeline that refines the initial plan using feedback from a scene graph simulator, correcting infeasible actions and avoiding planning failures. We evaluate our approach on two large-scale environments spanning up to 3 floors, 36 rooms and 140 objects, and show that our approach is capable of grounding large-scale, long-horizon task plans from abstract, and natural language instruction for a mobile manipulator robot to execute.