TidyBot: 대규모 언어 모델을 활용한 개인 맞춤형 로봇 지원 시스템

초록

로봇이 물리적 지원을 효과적으로 개인화하려면, 미래 시나리오에 일반적으로 재적용 가능한 사용자 선호도를 학습해야 합니다. 본 연구에서는 물건을 집어서 정리하는 방식으로 방을 치우는 로봇을 활용한 가정 내 청소 개인화를 탐구합니다. 주요 과제는 각 물건을 놓을 적절한 장소를 결정하는 것인데, 이는 개인의 취향이나 문화적 배경에 따라 크게 달라질 수 있습니다. 예를 들어, 한 사람은 셔츠를 서랍에 보관하는 것을 선호할 수 있는 반면, 다른 사람은 선반에 두는 것을 선호할 수 있습니다. 우리는 특정 개인과의 사전 상호작용을 통해 단 몇 가지 예시만으로도 이러한 선호도를 학습할 수 있는 시스템을 구축하는 것을 목표로 합니다. 우리는 로봇이 언어 기반 계획 및 인지 능력을 대규모 언어 모델(LLM)의 소수 샷 요약 기능과 결합하여 미래 상호작용에 광범위하게 적용 가능한 일반화된 사용자 선호도를 추론할 수 있음을 보여줍니다. 이 접근 방식은 빠른 적응을 가능하게 하며, 벤치마크 데이터셋에서 보지 못한 물건에 대해 91.2%의 정확도를 달성합니다. 또한, 우리는 TidyBot이라는 실제 모바일 매니퓰레이터에서 이 접근 방식을 시연하여, 실제 테스트 시나리오에서 85.0%의 물건을 성공적으로 정리하는 것을 보여줍니다.

English

For a robot to personalize physical assistance effectively, it must learn user preferences that can be generally reapplied to future scenarios. In this work, we investigate personalization of household cleanup with robots that can tidy up rooms by picking up objects and putting them away. A key challenge is determining the proper place to put each object, as people's preferences can vary greatly depending on personal taste or cultural background. For instance, one person may prefer storing shirts in the drawer, while another may prefer them on the shelf. We aim to build systems that can learn such preferences from just a handful of examples via prior interactions with a particular person. We show that robots can combine language-based planning and perception with the few-shot summarization capabilities of large language models (LLMs) to infer generalized user preferences that are broadly applicable to future interactions. This approach enables fast adaptation and achieves 91.2% accuracy on unseen objects in our benchmark dataset. We also demonstrate our approach on a real-world mobile manipulator called TidyBot, which successfully puts away 85.0% of objects in real-world test scenarios.

TidyBot: 대규모 언어 모델을 활용한 개인 맞춤형 로봇 지원 시스템

TidyBot: Personalized Robot Assistance with Large Language Models

초록

Support