Interaktive Aufgabenplanung mit Sprachmodellen

Interactive Task Planning with Language Models

October 16, 2023

Autoren: Boyi Li, Philipp Wu, Pieter Abbeel, Jitendra Malik

cs.AI

Zusammenfassung

Ein interaktives Robotik-Framework ermöglicht die Planung langfristiger Aufgaben und kann sich leicht auf neue Ziele oder unterschiedliche Aufgaben verallgemeinern, sogar während der Ausführung. Die meisten traditionellen Methoden erfordern jedoch ein vordefiniertes Moduldesign, was die Verallgemeinerung auf verschiedene Ziele erschwert. Neuere Ansätze, die auf großen Sprachmodellen basieren, ermöglichen zwar eine offenere Planung, erfordern jedoch oft aufwendiges Prompt-Engineering oder domänenspezifisch vortrainierte Modelle. Um dies zu bewältigen, schlagen wir ein einfaches Framework vor, das interaktive Aufgabenplanung mit Sprachmodellen realisiert. Unser System integriert sowohl hochrangige Planung als auch niederrangige Funktionsausführung über Sprache. Wir überprüfen die Robustheit unseres Systems bei der Generierung neuartiger hochrangiger Anweisungen für unbekannte Ziele und seine einfache Anpassung an verschiedene Aufgaben durch den bloßen Austausch der Aufgabenrichtlinien, ohne zusätzliches komplexes Prompt-Engineering. Darüber hinaus kann unser System bei einer neuen Benutzeranfrage präzise neu planen, basierend auf der neuen Anfrage, den Aufgabenrichtlinien und den zuvor ausgeführten Schritten. Weitere Details finden Sie auf unserer Website https://wuphilipp.github.io/itp_site und https://youtu.be/TrKLuyv26_g.

English

An interactive robot framework accomplishes long-horizon task planning and can easily generalize to new goals or distinct tasks, even during execution. However, most traditional methods require predefined module design, which makes it hard to generalize to different goals. Recent large language model based approaches can allow for more open-ended planning but often require heavy prompt engineering or domain-specific pretrained models. To tackle this, we propose a simple framework that achieves interactive task planning with language models. Our system incorporates both high-level planning and low-level function execution via language. We verify the robustness of our system in generating novel high-level instructions for unseen objectives and its ease of adaptation to different tasks by merely substituting the task guidelines, without the need for additional complex prompt engineering. Furthermore, when the user sends a new request, our system is able to replan accordingly with precision based on the new request, task guidelines and previously executed steps. Please check more details on our https://wuphilipp.github.io/itp_site and https://youtu.be/TrKLuyv26_g.