SayPlan: Het Gronden van Grote Taalmodellen met 3D Scènegrafieken voor Schaalbare Taakplanning

SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Task Planning

July 12, 2023

Auteurs: Krishan Rana, Jesse Haviland, Sourav Garg, Jad Abou-Chakra, Ian Reid, Niko Suenderhauf

cs.AI

Samenvatting

Grote taalmodelen (LLMs) hebben indrukwekkende resultaten laten zien bij het ontwikkelen van generalistische planningsagenten voor diverse taken. Het verankeren van deze plannen in uitgestrekte, meer verdiepingen en meerdere kamers omvattende omgevingen vormt echter een aanzienlijke uitdaging voor robotica. Wij introduceren SayPlan, een schaalbare aanpak voor op LLM gebaseerde, grootschalige taakplanning voor robotica met behulp van 3D-scènegrafiek (3DSG) representaties. Om de schaalbaarheid van onze aanpak te waarborgen, doen we het volgende: (1) benutten we de hiërarchische aard van 3DSGs om LLMs in staat te stellen een semantische zoektocht uit te voeren naar taakrelevante subgrafieken vanuit een kleinere, samengevouwen representatie van de volledige grafiek; (2) verkleinen we de planningshorizon voor het LLM door een klassieke padplanner te integreren en (3) introduceren we een iteratief herplanningsproces dat het initiële plan verfijnt met feedback van een scènegrafieksimulator, waarbij onuitvoerbare acties worden gecorrigeerd en planningsfouten worden vermeden. We evalueren onze aanpak in twee grootschalige omgevingen die tot 3 verdiepingen, 36 kamers en 140 objecten omvatten, en tonen aan dat onze aanpak in staat is om grootschalige, langetermijn taakplannen te verankeren vanuit abstracte en natuurlijke taal instructies voor een mobiele manipulatorrobot om uit te voeren.

English

Large language models (LLMs) have demonstrated impressive results in developing generalist planning agents for diverse tasks. However, grounding these plans in expansive, multi-floor, and multi-room environments presents a significant challenge for robotics. We introduce SayPlan, a scalable approach to LLM-based, large-scale task planning for robotics using 3D scene graph (3DSG) representations. To ensure the scalability of our approach, we: (1) exploit the hierarchical nature of 3DSGs to allow LLMs to conduct a semantic search for task-relevant subgraphs from a smaller, collapsed representation of the full graph; (2) reduce the planning horizon for the LLM by integrating a classical path planner and (3) introduce an iterative replanning pipeline that refines the initial plan using feedback from a scene graph simulator, correcting infeasible actions and avoiding planning failures. We evaluate our approach on two large-scale environments spanning up to 3 floors, 36 rooms and 140 objects, and show that our approach is capable of grounding large-scale, long-horizon task plans from abstract, and natural language instruction for a mobile manipulator robot to execute.