RoboTAP: Het Volgen van Willekeurige Punten voor Few-Shot Visuele Imitatie

RoboTAP: Tracking Arbitrary Points for Few-Shot Visual Imitation

August 30, 2023

Auteurs: Mel Vecerik, Carl Doersch, Yi Yang, Todor Davchev, Yusuf Aytar, Guangyao Zhou, Raia Hadsell, Lourdes Agapito, Jon Scholz

cs.AI

Samenvatting

Om robots nuttig te maken buiten laboratoria en gespecialiseerde fabrieken, hebben we een manier nodig om hen snel nieuwe nuttige gedragingen aan te leren. Huidige benaderingen missen ofwel de algemeenheid om nieuwe taken aan te leren zonder taakspecifieke engineering, ofwel de data-efficiëntie om dit te doen in een tijdsbestek dat praktisch gebruik mogelijk maakt. In dit werk onderzoeken we dense tracking als een representatiemiddel om sneller en algemener te leren van demonstraties. Onze aanpak maakt gebruik van Track-Any-Point (TAP) modellen om de relevante beweging in een demonstratie te isoleren en een low-level controller te parametriseren om deze beweging te reproduceren bij veranderingen in de scèneconfiguratie. We laten zien dat dit resulteert in robuuste robotbeleidsregels die complexe objectrangschikkings-taken kunnen oplossen, zoals vormherkenning, stapelen, en zelfs volledige padvolgings-taken zoals het aanbrengen van lijm en het aan elkaar plakken van objecten, allemaal op basis van demonstraties die binnen enkele minuten kunnen worden verzameld.

English

For robots to be useful outside labs and specialized factories we need a way to teach them new useful behaviors quickly. Current approaches lack either the generality to onboard new tasks without task-specific engineering, or else lack the data-efficiency to do so in an amount of time that enables practical use. In this work we explore dense tracking as a representational vehicle to allow faster and more general learning from demonstration. Our approach utilizes Track-Any-Point (TAP) models to isolate the relevant motion in a demonstration, and parameterize a low-level controller to reproduce this motion across changes in the scene configuration. We show this results in robust robot policies that can solve complex object-arrangement tasks such as shape-matching, stacking, and even full path-following tasks such as applying glue and sticking objects together, all from demonstrations that can be collected in minutes.