Interactieve Taakplanning met Taalmodellen

Interactive Task Planning with Language Models

October 16, 2023

Auteurs: Boyi Li, Philipp Wu, Pieter Abbeel, Jitendra Malik

cs.AI

Samenvatting

Een interactief robotframework voert langetermijn-taakplanning uit en kan eenvoudig generaliseren naar nieuwe doelen of verschillende taken, zelfs tijdens de uitvoering. De meeste traditionele methoden vereisen echter een vooraf gedefinieerd moduleontwerp, wat het moeilijk maakt om te generaliseren naar verschillende doelen. Recente benaderingen op basis van grote taalmodellen maken meer open-ended planning mogelijk, maar vereisen vaak uitgebreide prompt engineering of domeinspecifieke vooraf getrainde modellen. Om dit aan te pakken, stellen we een eenvoudig framework voor dat interactieve taakplanning met taalmodellen realiseert. Ons systeem integreert zowel hoogwaardige planning als laagniveau functie-uitvoering via taal. We verifiëren de robuustheid van ons systeem in het genereren van nieuwe hoogwaardige instructies voor onbekende doelen en het gemak van aanpassing aan verschillende taken door simpelweg de taakrichtlijnen te vervangen, zonder de noodzaak van aanvullende complexe prompt engineering. Bovendien, wanneer de gebruiker een nieuw verzoek verstuurt, is ons systeem in staat om nauwkeurig opnieuw te plannen op basis van het nieuwe verzoek, de taakrichtlijnen en de eerder uitgevoerde stappen. Bekijk meer details op onze https://wuphilipp.github.io/itp_site en https://youtu.be/TrKLuyv26_g.

English

An interactive robot framework accomplishes long-horizon task planning and can easily generalize to new goals or distinct tasks, even during execution. However, most traditional methods require predefined module design, which makes it hard to generalize to different goals. Recent large language model based approaches can allow for more open-ended planning but often require heavy prompt engineering or domain-specific pretrained models. To tackle this, we propose a simple framework that achieves interactive task planning with language models. Our system incorporates both high-level planning and low-level function execution via language. We verify the robustness of our system in generating novel high-level instructions for unseen objectives and its ease of adaptation to different tasks by merely substituting the task guidelines, without the need for additional complex prompt engineering. Furthermore, when the user sends a new request, our system is able to replan accordingly with precision based on the new request, task guidelines and previously executed steps. Please check more details on our https://wuphilipp.github.io/itp_site and https://youtu.be/TrKLuyv26_g.