SayPlan : Ancrage des grands modèles de langage à l'aide de graphes de scène 3D pour la planification de tâches à grande échelle
SayPlan: Grounding Large Language Models using 3D Scene Graphs for Scalable Task Planning
July 12, 2023
Auteurs: Krishan Rana, Jesse Haviland, Sourav Garg, Jad Abou-Chakra, Ian Reid, Niko Suenderhauf
cs.AI
Résumé
Les grands modèles de langage (LLMs) ont démontré des résultats impressionnants dans le développement d'agents de planification généralistes pour des tâches variées. Cependant, l'ancrage de ces plans dans des environnements vastes, multi-étages et multi-pièces représente un défi majeur pour la robotique. Nous présentons SayPlan, une approche évolutive de planification de tâches à grande échelle basée sur les LLMs pour la robotique, utilisant des représentations de graphes de scène 3D (3DSG). Pour assurer l'évolutivité de notre approche, nous : (1) exploitons la nature hiérarchique des 3DSG pour permettre aux LLMs de mener une recherche sémantique de sous-graphes pertinents pour la tâche à partir d'une représentation réduite et simplifiée du graphe complet ; (2) réduisons l'horizon de planification pour le LLM en intégrant un planificateur de trajectoire classique ; et (3) introduisons un pipeline de replanification itérative qui affine le plan initial en utilisant les retours d'un simulateur de graphe de scène, corrigeant les actions irréalisables et évitant les échecs de planification. Nous évaluons notre approche sur deux environnements à grande échelle couvrant jusqu'à 3 étages, 36 pièces et 140 objets, et montrons que notre méthode est capable d'ancrer des plans de tâches à grande échelle et à long horizon à partir d'instructions abstraites et en langage naturel pour un robot manipulateur mobile à exécuter.
English
Large language models (LLMs) have demonstrated impressive results in
developing generalist planning agents for diverse tasks. However, grounding
these plans in expansive, multi-floor, and multi-room environments presents a
significant challenge for robotics. We introduce SayPlan, a scalable approach
to LLM-based, large-scale task planning for robotics using 3D scene graph
(3DSG) representations. To ensure the scalability of our approach, we: (1)
exploit the hierarchical nature of 3DSGs to allow LLMs to conduct a semantic
search for task-relevant subgraphs from a smaller, collapsed representation of
the full graph; (2) reduce the planning horizon for the LLM by integrating a
classical path planner and (3) introduce an iterative replanning pipeline that
refines the initial plan using feedback from a scene graph simulator,
correcting infeasible actions and avoiding planning failures. We evaluate our
approach on two large-scale environments spanning up to 3 floors, 36 rooms and
140 objects, and show that our approach is capable of grounding large-scale,
long-horizon task plans from abstract, and natural language instruction for a
mobile manipulator robot to execute.