RoboTAP: Seguimiento de Puntos Arbitrarios para la Imitación Visual con Pocos Ejemplos

RoboTAP: Tracking Arbitrary Points for Few-Shot Visual Imitation

August 30, 2023

Autores: Mel Vecerik, Carl Doersch, Yi Yang, Todor Davchev, Yusuf Aytar, Guangyao Zhou, Raia Hadsell, Lourdes Agapito, Jon Scholz

cs.AI

Resumen

Para que los robots sean útiles fuera de los laboratorios y fábricas especializadas, necesitamos una forma de enseñarles nuevos comportamientos útiles de manera rápida. Los enfoques actuales carecen ya sea de la generalidad necesaria para incorporar nuevas tareas sin ingeniería específica para cada tarea, o bien de la eficiencia en el uso de datos para hacerlo en un tiempo que permita su uso práctico. En este trabajo exploramos el seguimiento denso como un vehículo representacional para permitir un aprendizaje más rápido y general a partir de demostraciones. Nuestro enfoque utiliza modelos Track-Any-Point (TAP) para aislar el movimiento relevante en una demostración y parametrizar un controlador de bajo nivel para reproducir este movimiento a través de cambios en la configuración de la escena. Demostramos que esto da como resultado políticas de robot robustas que pueden resolver tareas complejas de organización de objetos, como la coincidencia de formas, apilamiento, e incluso tareas completas de seguimiento de trayectorias, como aplicar pegamento y unir objetos, todo a partir de demostraciones que pueden recopilarse en minutos.

English

For robots to be useful outside labs and specialized factories we need a way to teach them new useful behaviors quickly. Current approaches lack either the generality to onboard new tasks without task-specific engineering, or else lack the data-efficiency to do so in an amount of time that enables practical use. In this work we explore dense tracking as a representational vehicle to allow faster and more general learning from demonstration. Our approach utilizes Track-Any-Point (TAP) models to isolate the relevant motion in a demonstration, and parameterize a low-level controller to reproduce this motion across changes in the scene configuration. We show this results in robust robot policies that can solve complex object-arrangement tasks such as shape-matching, stacking, and even full path-following tasks such as applying glue and sticking objects together, all from demonstrations that can be collected in minutes.