TidyBot : Assistance robotique personnalisée avec des modèles de langage de grande envergure

TidyBot: Personalized Robot Assistance with Large Language Models

May 9, 2023

Auteurs: Jimmy Wu, Rika Antonova, Adam Kan, Marion Lepert, Andy Zeng, Shuran Song, Jeannette Bohg, Szymon Rusinkiewicz, Thomas Funkhouser

cs.AI

Résumé

Pour qu'un robot personnalise efficacement l'assistance physique, il doit apprendre les préférences de l'utilisateur qui peuvent être généralement réutilisées dans des scénarios futurs. Dans ce travail, nous étudions la personnalisation du rangement domestique avec des robots capables de ranger des pièces en ramassant des objets et en les rangeant. Un défi majeur consiste à déterminer l'emplacement approprié pour chaque objet, car les préférences des personnes peuvent varier considérablement en fonction des goûts personnels ou du contexte culturel. Par exemple, une personne peut préférer ranger les chemises dans le tiroir, tandis qu'une autre peut les préférer sur l'étagère. Nous visons à construire des systèmes capables d'apprendre de telles préférences à partir de seulement quelques exemples via des interactions antérieures avec une personne particulière. Nous montrons que les robots peuvent combiner la planification et la perception basées sur le langage avec les capacités de synthèse en peu d'exemples des grands modèles de langage (LLMs) pour déduire des préférences utilisateur généralisées largement applicables aux interactions futures. Cette approche permet une adaptation rapide et atteint une précision de 91,2 % sur des objets non vus dans notre ensemble de données de référence. Nous démontrons également notre approche sur un manipulateur mobile réel appelé TidyBot, qui range avec succès 85,0 % des objets dans des scénarios de test réels.

English

For a robot to personalize physical assistance effectively, it must learn user preferences that can be generally reapplied to future scenarios. In this work, we investigate personalization of household cleanup with robots that can tidy up rooms by picking up objects and putting them away. A key challenge is determining the proper place to put each object, as people's preferences can vary greatly depending on personal taste or cultural background. For instance, one person may prefer storing shirts in the drawer, while another may prefer them on the shelf. We aim to build systems that can learn such preferences from just a handful of examples via prior interactions with a particular person. We show that robots can combine language-based planning and perception with the few-shot summarization capabilities of large language models (LLMs) to infer generalized user preferences that are broadly applicable to future interactions. This approach enables fast adaptation and achieves 91.2% accuracy on unseen objects in our benchmark dataset. We also demonstrate our approach on a real-world mobile manipulator called TidyBot, which successfully puts away 85.0% of objects in real-world test scenarios.