TidyBot: Personalisierte Roboterassistenz mit großen Sprachmodellen

TidyBot: Personalized Robot Assistance with Large Language Models

May 9, 2023

Autoren: Jimmy Wu, Rika Antonova, Adam Kan, Marion Lepert, Andy Zeng, Shuran Song, Jeannette Bohg, Szymon Rusinkiewicz, Thomas Funkhouser

cs.AI

Zusammenfassung

Damit ein Roboter physische Unterstützung effektiv personalisieren kann, muss er Benutzerpräferenzen erlernen, die allgemein auf zukünftige Szenarien übertragen werden können. In dieser Arbeit untersuchen wir die Personalisierung der Haushaltsaufräumarbeit mit Robotern, die Räume aufräumen können, indem sie Gegenstände aufheben und wegräumen. Eine zentrale Herausforderung besteht darin, den richtigen Platz für jeden Gegenstand zu bestimmen, da die Präferenzen der Menschen je nach persönlichem Geschmack oder kulturellem Hintergrund stark variieren können. Zum Beispiel könnte eine Person es vorziehen, Hemden in der Schublade aufzubewahren, während eine andere sie lieber im Regal verstaut. Unser Ziel ist es, Systeme zu entwickeln, die solche Präferenzen aus nur wenigen Beispielen durch vorherige Interaktionen mit einer bestimmten Person erlernen können. Wir zeigen, dass Roboter sprachbasierte Planung und Wahrnehmung mit den Few-Shot-Zusammenfassungsfähigkeiten von großen Sprachmodellen (LLMs) kombinieren können, um generalisierte Benutzerpräferenzen abzuleiten, die breit auf zukünftige Interaktionen anwendbar sind. Dieser Ansatz ermöglicht eine schnelle Anpassung und erreicht eine Genauigkeit von 91,2 % bei unbekannten Objekten in unserem Benchmark-Datensatz. Wir demonstrieren unseren Ansatz auch an einem realen mobilen Manipulator namens TidyBot, der in realen Testszenarien erfolgreich 85,0 % der Objekte wegräumt.

English

For a robot to personalize physical assistance effectively, it must learn user preferences that can be generally reapplied to future scenarios. In this work, we investigate personalization of household cleanup with robots that can tidy up rooms by picking up objects and putting them away. A key challenge is determining the proper place to put each object, as people's preferences can vary greatly depending on personal taste or cultural background. For instance, one person may prefer storing shirts in the drawer, while another may prefer them on the shelf. We aim to build systems that can learn such preferences from just a handful of examples via prior interactions with a particular person. We show that robots can combine language-based planning and perception with the few-shot summarization capabilities of large language models (LLMs) to infer generalized user preferences that are broadly applicable to future interactions. This approach enables fast adaptation and achieves 91.2% accuracy on unseen objects in our benchmark dataset. We also demonstrate our approach on a real-world mobile manipulator called TidyBot, which successfully puts away 85.0% of objects in real-world test scenarios.