RoboCat: Een Zelfverbeterend Basisagent voor Robotmanipulatie

RoboCat: A Self-Improving Foundation Agent for Robotic Manipulation

June 20, 2023

Auteurs: Konstantinos Bousmalis, Giulia Vezzani, Dushyant Rao, Coline Devin, Alex X. Lee, Maria Bauza, Todor Davchev, Yuxiang Zhou, Agrim Gupta, Akhil Raju, Antoine Laurens, Claudio Fantacci, Valentin Dalibard, Martina Zambelli, Murilo Martins, Rugile Pevceviciute, Michiel Blokzijl, Misha Denil, Nathan Batchelor, Thomas Lampe, Emilio Parisotto, Konrad Żołna, Scott Reed, Sergio Gómez Colmenarejo, Jon Scholz, Abbas Abdolmaleki, Oliver Groth, Jean-Baptiste Regli, Oleg Sushkov, Tom Rothörl, José Enrique Chen, Yusuf Aytar, Dave Barker, Joy Ortiz, Martin Riedmiller, Jost Tobias Springenberg, Raia Hadsell, Francesco Nori, Nicolas Heess

cs.AI

Samenvatting

Het vermogen om heterogene robotervaring van verschillende robots en taken te benutten om snel nieuwe vaardigheden en belichamingen onder de knie te krijgen, heeft het potentieel om robotleren te transformeren. Geïnspireerd door recente vooruitgang in foundation-modellen voor visie en taal, stellen we een foundation-agent voor robotmanipulatie voor. Deze agent, genaamd RoboCat, is een visuele doel-geconditioneerde beslissingstransformator die in staat is om multi-belichaming actie-gelabelde visuele ervaring te verwerken. Deze data omvat een groot repertoire aan motorische controle vaardigheden van gesimuleerde en echte robotarmen met verschillende sets van observaties en acties. Met RoboCat demonstreren we het vermogen om te generaliseren naar nieuwe taken en robots, zowel zero-shot als door aanpassing met slechts 100–1000 voorbeelden voor de doeltaak. We laten ook zien hoe een getraind model zelf kan worden gebruikt om data te genereren voor volgende trainingsiteraties, wat een basisbouwsteen biedt voor een autonome verbeteringslus. We onderzoeken de mogelijkheden van de agent, met grootschalige evaluaties zowel in simulatie als op drie verschillende echte robotbelichamingen. We constateren dat naarmate we de trainingsdata uitbreiden en diversifiëren, RoboCat niet alleen tekenen van kruistakenoverdracht vertoont, maar ook efficiënter wordt in het aanpassen aan nieuwe taken.

English

The ability to leverage heterogeneous robotic experience from different robots and tasks to quickly master novel skills and embodiments has the potential to transform robot learning. Inspired by recent advances in foundation models for vision and language, we propose a foundation agent for robotic manipulation. This agent, named RoboCat, is a visual goal-conditioned decision transformer capable of consuming multi-embodiment action-labelled visual experience. This data spans a large repertoire of motor control skills from simulated and real robotic arms with varying sets of observations and actions. With RoboCat, we demonstrate the ability to generalise to new tasks and robots, both zero-shot as well as through adaptation using only 100--1000 examples for the target task. We also show how a trained model itself can be used to generate data for subsequent training iterations, thus providing a basic building block for an autonomous improvement loop. We investigate the agent's capabilities, with large-scale evaluations both in simulation and on three different real robot embodiments. We find that as we grow and diversify its training data, RoboCat not only shows signs of cross-task transfer, but also becomes more efficient at adapting to new tasks.