Полезный DoggyBot: Поиск объектов в открытом мире с использованием четырехногих роботов и моделей зрения-языка

Helpful DoggyBot: Open-World Object Fetching using Legged Robots and Vision-Language Models

September 30, 2024

Авторы: Qi Wu, Zipeng Fu, Xuxin Cheng, Xiaolong Wang, Chelsea Finn

cs.AI

Аннотация

Методы на основе обучения достигли высокой производительности в четырехногой локомоции. Однако несколько проблем мешают четвероногим созданиям осваивать полезные навыки в помещениях, требующие взаимодействия с окружающей средой и людьми: отсутствие конечных эффекторов для манипуляции, ограниченное семантическое понимание при использовании только данных симуляции, а также низкая проходимость и доступность в помещениях. Мы представляем систему для четвероногой мобильной манипуляции в помещениях. Она использует передний захват для манипуляции объектами, низкоуровневый контроллер, обученный в симуляции с использованием эгоцентрической глубины для ловкости, таких навыков как восхождение и наклон всего тела, а также предварительно обученные модели зрение-язык (VLM) с камерой третьего лица широкоугольного обзора и эгоцентрической RGB-камерой для семантического понимания и генерации команд. Мы оцениваем нашу систему в двух незнакомых средах без сбора реальных данных или обучения. Наша система способна обобщаться на эти среды и выполнять задачи, например, следовать за командами пользователя, чтобы достать случайно размещенную игрушку после восхождения на кровать размера "queen", с успехом в 60%. Веб-сайт проекта: https://helpful-doggybot.github.io/

English

Learning-based methods have achieved strong performance for quadrupedal locomotion. However, several challenges prevent quadrupeds from learning helpful indoor skills that require interaction with environments and humans: lack of end-effectors for manipulation, limited semantic understanding using only simulation data, and low traversability and reachability in indoor environments. We present a system for quadrupedal mobile manipulation in indoor environments. It uses a front-mounted gripper for object manipulation, a low-level controller trained in simulation using egocentric depth for agile skills like climbing and whole-body tilting, and pre-trained vision-language models (VLMs) with a third-person fisheye and an egocentric RGB camera for semantic understanding and command generation. We evaluate our system in two unseen environments without any real-world data collection or training. Our system can zero-shot generalize to these environments and complete tasks, like following user's commands to fetch a randomly placed stuff toy after climbing over a queen-sized bed, with a 60% success rate. Project website: https://helpful-doggybot.github.io/