SayPlan: Fundamentación de Modelos de Lenguaje a Gran Escala mediante Grafos de Escena 3D para la Planificación de Tareas Escalable

SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Task Planning

July 12, 2023

Autores: Krishan Rana, Jesse Haviland, Sourav Garg, Jad Abou-Chakra, Ian Reid, Niko Suenderhauf

cs.AI

Resumen

Los modelos de lenguaje de gran escala (LLMs, por sus siglas en inglés) han demostrado resultados impresionantes en el desarrollo de agentes de planificación generalistas para tareas diversas. Sin embargo, anclar estos planes en entornos expansivos, de múltiples pisos y habitaciones presenta un desafío significativo para la robótica. Presentamos SayPlan, un enfoque escalable para la planificación de tareas a gran escala basada en LLMs para robótica, utilizando representaciones de grafos de escena 3D (3DSG). Para garantizar la escalabilidad de nuestro enfoque: (1) aprovechamos la naturaleza jerárquica de los 3DSG para permitir que los LLMs realicen una búsqueda semántica de subgrafos relevantes para la tarea a partir de una representación reducida del grafo completo; (2) reducimos el horizonte de planificación para el LLM integrando un planificador de rutas clásico y (3) introducimos una canalización de replanificación iterativa que refina el plan inicial utilizando retroalimentación de un simulador de grafos de escena, corrigiendo acciones inviables y evitando fallos en la planificación. Evaluamos nuestro enfoque en dos entornos a gran escala que abarcan hasta 3 pisos, 36 habitaciones y 140 objetos, y demostramos que nuestro enfoque es capaz de anclar planes de tareas a gran escala y de largo horizonte a partir de instrucciones abstractas y en lenguaje natural para que un robot manipulador móvil las ejecute.

English

Large language models (LLMs) have demonstrated impressive results in developing generalist planning agents for diverse tasks. However, grounding these plans in expansive, multi-floor, and multi-room environments presents a significant challenge for robotics. We introduce SayPlan, a scalable approach to LLM-based, large-scale task planning for robotics using 3D scene graph (3DSG) representations. To ensure the scalability of our approach, we: (1) exploit the hierarchical nature of 3DSGs to allow LLMs to conduct a semantic search for task-relevant subgraphs from a smaller, collapsed representation of the full graph; (2) reduce the planning horizon for the LLM by integrating a classical path planner and (3) introduce an iterative replanning pipeline that refines the initial plan using feedback from a scene graph simulator, correcting infeasible actions and avoiding planning failures. We evaluate our approach on two large-scale environments spanning up to 3 floors, 36 rooms and 140 objects, and show that our approach is capable of grounding large-scale, long-horizon task plans from abstract, and natural language instruction for a mobile manipulator robot to execute.