Planification interactive de tâches avec des modèles de langage

Interactive Task Planning with Language Models

October 16, 2023

Auteurs: Boyi Li, Philipp Wu, Pieter Abbeel, Jitendra Malik

cs.AI

Résumé

Un cadre de robot interactif réalise la planification de tâches à long terme et peut facilement généraliser à de nouveaux objectifs ou tâches distinctes, même pendant l'exécution. Cependant, la plupart des méthodes traditionnelles nécessitent une conception de modules prédéfinie, ce qui rend difficile la généralisation à différents objectifs. Les approches récentes basées sur des modèles de langage de grande taille permettent une planification plus ouverte, mais nécessitent souvent un ingénierie de prompts complexe ou des modèles pré-entraînés spécifiques à un domaine. Pour résoudre ce problème, nous proposons un cadre simple qui réalise la planification interactive de tâches avec des modèles de langage. Notre système intègre à la fois la planification de haut niveau et l'exécution de fonctions de bas niveau via le langage. Nous vérifions la robustesse de notre système dans la génération d'instructions de haut niveau pour des objectifs inédits et sa facilité d'adaptation à différentes tâches en substituant simplement les directives de tâches, sans nécessiter d'ingénierie de prompts complexe supplémentaire. De plus, lorsque l'utilisateur envoie une nouvelle requête, notre système est capable de replanifier avec précision en fonction de la nouvelle requête, des directives de tâches et des étapes précédemment exécutées. Pour plus de détails, consultez notre site https://wuphilipp.github.io/itp_site et https://youtu.be/TrKLuyv26_g.

English

An interactive robot framework accomplishes long-horizon task planning and can easily generalize to new goals or distinct tasks, even during execution. However, most traditional methods require predefined module design, which makes it hard to generalize to different goals. Recent large language model based approaches can allow for more open-ended planning but often require heavy prompt engineering or domain-specific pretrained models. To tackle this, we propose a simple framework that achieves interactive task planning with language models. Our system incorporates both high-level planning and low-level function execution via language. We verify the robustness of our system in generating novel high-level instructions for unseen objectives and its ease of adaptation to different tasks by merely substituting the task guidelines, without the need for additional complex prompt engineering. Furthermore, when the user sends a new request, our system is able to replan accordingly with precision based on the new request, task guidelines and previously executed steps. Please check more details on our https://wuphilipp.github.io/itp_site and https://youtu.be/TrKLuyv26_g.