Scomposizione del Divario di Generalizzazione nell'Apprendimento per Imitazione per la Manipolazione Robotica Visiva

Decomposing the Generalization Gap in Imitation Learning for Visual Robotic Manipulation

July 7, 2023

Autori: Annie Xie, Lisa Lee, Ted Xiao, Chelsea Finn

cs.AI

Abstract

Cosa rende difficile la generalizzazione per l'apprendimento per imitazione nella manipolazione robotica visiva? Questa domanda è difficile da affrontare direttamente, ma l'ambiente dal punto di vista di un robot può spesso essere scomposto in fattori di variazione enumerabili, come le condizioni di illuminazione o il posizionamento della telecamera. Empiricamente, la generalizzazione ad alcuni di questi fattori ha rappresentato un ostacolo maggiore rispetto ad altri, ma il lavoro esistente getta poca luce su quanto ciascun fattore contribuisca esattamente al gap di generalizzazione. Nel tentativo di rispondere a questa domanda, studiamo politiche di apprendimento per imitazione in simulazione e su un compito di manipolazione condizionato al linguaggio su un robot reale, per quantificare la difficoltà di generalizzazione a diversi (insiemi di) fattori. Progettiamo inoltre un nuovo benchmark simulato di 19 compiti con 11 fattori di variazione per facilitare valutazioni più controllate della generalizzazione. Dal nostro studio, determiniamo un ordinamento dei fattori basato sulla difficoltà di generalizzazione, che è coerente tra la simulazione e il nostro setup robotico reale.

English

What makes generalization hard for imitation learning in visual robotic manipulation? This question is difficult to approach at face value, but the environment from the perspective of a robot can often be decomposed into enumerable factors of variation, such as the lighting conditions or the placement of the camera. Empirically, generalization to some of these factors have presented a greater obstacle than others, but existing work sheds little light on precisely how much each factor contributes to the generalization gap. Towards an answer to this question, we study imitation learning policies in simulation and on a real robot language-conditioned manipulation task to quantify the difficulty of generalization to different (sets of) factors. We also design a new simulated benchmark of 19 tasks with 11 factors of variation to facilitate more controlled evaluations of generalization. From our study, we determine an ordering of factors based on generalization difficulty, that is consistent across simulation and our real robot setup.