TidyBot: 大規模言語モデルを活用したパーソナライズドロボットアシスタンス

要旨

ロボットが物理的な支援を効果的にパーソナライズするためには、将来のシナリオにも一般的に再適用可能なユーザーの好みを学習する必要があります。本研究では、物を拾って片付けることで部屋を整理するロボットを用いた家庭内清掃のパーソナライゼーションを探求します。主要な課題は、各物を置く適切な場所を決定することです。なぜなら、人々の好みは個人の趣味や文化的背景によって大きく異なる可能性があるからです。例えば、ある人はシャツを引き出しに収納するのを好むかもしれませんが、別の人は棚に置くのを好むかもしれません。私たちは、特定の人物との事前のやり取りから、わずかな例だけでそのような好みを学習できるシステムを構築することを目指しています。ロボットが言語ベースの計画と知覚を大規模言語モデル（LLM）の少数ショット要約能力と組み合わせることで、将来のインタラクションにも広く適用可能な一般化されたユーザー好みを推論できることを示します。このアプローチにより、迅速な適応が可能となり、ベンチマークデータセットにおける未見のオブジェクトに対して91.2%の精度を達成しました。また、TidyBotと呼ばれる実世界のモバイルマニピュレータでこのアプローチを実証し、実世界のテストシナリオで85.0%のオブジェクトを片付けることに成功しました。

English

For a robot to personalize physical assistance effectively, it must learn user preferences that can be generally reapplied to future scenarios. In this work, we investigate personalization of household cleanup with robots that can tidy up rooms by picking up objects and putting them away. A key challenge is determining the proper place to put each object, as people's preferences can vary greatly depending on personal taste or cultural background. For instance, one person may prefer storing shirts in the drawer, while another may prefer them on the shelf. We aim to build systems that can learn such preferences from just a handful of examples via prior interactions with a particular person. We show that robots can combine language-based planning and perception with the few-shot summarization capabilities of large language models (LLMs) to infer generalized user preferences that are broadly applicable to future interactions. This approach enables fast adaptation and achieves 91.2% accuracy on unseen objects in our benchmark dataset. We also demonstrate our approach on a real-world mobile manipulator called TidyBot, which successfully puts away 85.0% of objects in real-world test scenarios.

TidyBot: 大規模言語モデルを活用したパーソナライズドロボットアシスタンス

TidyBot: Personalized Robot Assistance with Large Language Models

要旨

Support