Raccolta di Dati Adversariali: Perturbazioni Collaborative Umane per un Apprendimento Imitativo Robotic Efficace e Robusto

Adversarial Data Collection: Human-Collaborative Perturbations for Efficient and Robust Robotic Imitation Learning

March 14, 2025

Autori: Siyuan Huang, Yue Liao, Siyuan Feng, Shu Jiang, Si Liu, Hongsheng Li, Maoqing Yao, Guanghui Ren

cs.AI

Abstract

La ricerca dell'efficienza dei dati, in cui la qualità prevale sulla quantità, è emersa come un pilastro fondamentale nella manipolazione robotica, soprattutto considerando gli elevati costi associati alla raccolta di dati nel mondo reale. Proponiamo che massimizzare la densità informativa delle singole dimostrazioni possa ridurre drasticamente la dipendenza da dataset su larga scala, migliorando al contempo le prestazioni del compito. A tal fine, introduciamo la Raccolta Dati Adversarial (Adversarial Data Collection, ADC), un framework Human-in-the-Loop (HiL) che ridefinisce l'acquisizione di dati robotici attraverso interazioni bidirezionali in tempo reale tra uomo e ambiente. A differenza delle pipeline convenzionali che registrano passivamente dimostrazioni statiche, l'ADC adotta un paradigma di perturbazione collaborativa: durante un singolo episodio, un operatore adversarial modifica dinamicamente gli stati degli oggetti, le condizioni ambientali e i comandi linguistici, mentre il tele-operatore adatta in modo flessibile le azioni per superare queste sfide in evoluzione. Questo processo comprime comportamenti di recupero da errori, variazioni compositive dei compiti e perturbazioni ambientali in dimostrazioni minimali. I nostri esperimenti dimostrano che i modelli addestrati con ADC raggiungono una generalizzazione compositiva superiore per istruzioni di compiti non visti, una maggiore robustezza alle perturbazioni percettive e capacità emergenti di recupero dagli errori. Sorprendentemente, i modelli addestrati con appena il 20% del volume di dimostrazioni raccolte tramite ADC superano significativamente gli approcci tradizionali che utilizzano dataset completi. Questi progressi colmano il divario tra i paradigmi di apprendimento centrati sui dati e il dispiegamento pratico della robotica, dimostrando che l'acquisizione strategica dei dati, non solo l'elaborazione post-hoc, è cruciale per un apprendimento robotico scalabile nel mondo reale. Inoltre, stiamo curando un dataset su larga scala ADC-Robotics, comprendente compiti di manipolazione nel mondo reale con perturbazioni adversarial. Questo benchmark sarà reso open-source per favorire progressi nell'apprendimento per imitazione robotica.

English

The pursuit of data efficiency, where quality outweighs quantity, has emerged as a cornerstone in robotic manipulation, especially given the high costs associated with real-world data collection. We propose that maximizing the informational density of individual demonstrations can dramatically reduce reliance on large-scale datasets while improving task performance. To this end, we introduce Adversarial Data Collection, a Human-in-the-Loop (HiL) framework that redefines robotic data acquisition through real-time, bidirectional human-environment interactions. Unlike conventional pipelines that passively record static demonstrations, ADC adopts a collaborative perturbation paradigm: during a single episode, an adversarial operator dynamically alters object states, environmental conditions, and linguistic commands, while the tele-operator adaptively adjusts actions to overcome these evolving challenges. This process compresses diverse failure-recovery behaviors, compositional task variations, and environmental perturbations into minimal demonstrations. Our experiments demonstrate that ADC-trained models achieve superior compositional generalization to unseen task instructions, enhanced robustness to perceptual perturbations, and emergent error recovery capabilities. Strikingly, models trained with merely 20% of the demonstration volume collected through ADC significantly outperform traditional approaches using full datasets. These advances bridge the gap between data-centric learning paradigms and practical robotic deployment, demonstrating that strategic data acquisition, not merely post-hoc processing, is critical for scalable, real-world robot learning. Additionally, we are curating a large-scale ADC-Robotics dataset comprising real-world manipulation tasks with adversarial perturbations. This benchmark will be open-sourced to facilitate advancements in robotic imitation learning.