HomeRobot: オープン語彙型モバイルマニピュレーション

HomeRobot: Open-Vocabulary Mobile Manipulation

June 20, 2023

著者: Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton

cs.AI

要旨

HomeRobot（名詞）：家庭内を移動し、日常的なタスクを完了するために幅広い物体を操作する、手頃な価格のコンプライアントロボット。Open-Vocabulary Mobile Manipulation（OVMM）は、未知の環境内の任意の物体を拾い上げ、指定された場所に配置する問題である。これは、人間の環境においてロボットが有用なアシスタントとなるための基礎的な課題であり、ロボティクス全体にわたるサブ問題に取り組むことを含む：知覚、言語理解、ナビゲーション、操作はすべてOVMMに不可欠である。さらに、これらのサブ問題に対する解決策の統合も、それ自体が大きな課題を提起する。この分野の研究を推進するために、我々はHomeRobot OVMMベンチマークを導入する。ここでは、エージェントが家庭環境を移動し、新しい物体をつかんで目標の受け皿に配置する。HomeRobotは2つのコンポーネントからなる：シミュレーションコンポーネントは、新しく高品質な複数部屋の家庭環境において、大規模で多様なキュレーションされた物体セットを使用する；現実世界コンポーネントは、低コストのHello Robot Stretchのためのソフトウェアスタックを提供し、ラボ間での現実世界実験の再現を促進する。我々は強化学習とヒューリスティック（モデルベース）のベースラインを実装し、シミュレーションから現実への転移の証拠を示す。我々のベースラインは現実世界で20%の成功率を達成し、実験を通じて将来の研究が性能を向上させる方法を特定する。詳細はウェブサイトの動画を参照：https://ovmm.github.io/。

English

HomeRobot (noun): An affordable compliant robot that navigates homes and manipulates a wide range of objects in order to complete everyday tasks. Open-Vocabulary Mobile Manipulation (OVMM) is the problem of picking any object in any unseen environment, and placing it in a commanded location. This is a foundational challenge for robots to be useful assistants in human environments, because it involves tackling sub-problems from across robotics: perception, language understanding, navigation, and manipulation are all essential to OVMM. In addition, integration of the solutions to these sub-problems poses its own substantial challenges. To drive research in this area, we introduce the HomeRobot OVMM benchmark, where an agent navigates household environments to grasp novel objects and place them on target receptacles. HomeRobot has two components: a simulation component, which uses a large and diverse curated object set in new, high-quality multi-room home environments; and a real-world component, providing a software stack for the low-cost Hello Robot Stretch to encourage replication of real-world experiments across labs. We implement both reinforcement learning and heuristic (model-based) baselines and show evidence of sim-to-real transfer. Our baselines achieve a 20% success rate in the real world; our experiments identify ways future research work improve performance. See videos on our website: https://ovmm.github.io/.