役立つDoggyBot：足を持つロボットとビジョン言語モデルを使用したオープンワールドの物体取得

Helpful DoggyBot: Open-World Object Fetching using Legged Robots and Vision-Language Models

September 30, 2024

著者: Qi Wu, Zipeng Fu, Xuxin Cheng, Xiaolong Wang, Chelsea Finn

cs.AI

要旨

四足歩行のための学習ベースの手法は強力なパフォーマンスを達成しています。しかし、いくつかの課題が四足動物が環境や人間との相互作用を必要とする有益な屋内スキルを学習するのを妨げています：操作のためのエンドエフェクターの不足、シミュレーションデータのみを使用した限られた意味理解、屋内環境における低い移動性と到達性。私たちは屋内環境での四足歩行モバイル操作のためのシステムを提案します。これには、物体操作のための前方取り付けグリッパー、アジャイルなスキル（登攀や全身傾斜など）のためにエゴセントリックデプスを使用してシミュレーションでトレーニングされた低レベルコントローラー、および第三者視点の魚眼カメラとエゴセントリックRGBカメラを使用した事前トレーニングされたビジョン言語モデル（VLMs）が含まれており、意味理解とコマンド生成に使用されます。我々は、実際のデータ収集やトレーニングを行わずに、2つの未知の環境でシステムを評価します。我々のシステムはこれらの環境にゼロショットで一般化し、ユーザーのコマンドに従ってクイーンサイズベッドを乗り越えてランダムに配置されたぬいぐるみを取ってくるなどのタスクを、60％の成功率で完了することができます。プロジェクトのウェブサイト：https://helpful-doggybot.github.io/

English

Learning-based methods have achieved strong performance for quadrupedal locomotion. However, several challenges prevent quadrupeds from learning helpful indoor skills that require interaction with environments and humans: lack of end-effectors for manipulation, limited semantic understanding using only simulation data, and low traversability and reachability in indoor environments. We present a system for quadrupedal mobile manipulation in indoor environments. It uses a front-mounted gripper for object manipulation, a low-level controller trained in simulation using egocentric depth for agile skills like climbing and whole-body tilting, and pre-trained vision-language models (VLMs) with a third-person fisheye and an egocentric RGB camera for semantic understanding and command generation. We evaluate our system in two unseen environments without any real-world data collection or training. Our system can zero-shot generalize to these environments and complete tasks, like following user's commands to fetch a randomly placed stuff toy after climbing over a queen-sized bed, with a 60% success rate. Project website: https://helpful-doggybot.github.io/