Kurzschlusslernen in generalistischen Roboterstrategien: Die Rolle von Datensatzvielfalt und -fragmentierung

Shortcut Learning in Generalist Robot Policies: The Role of Dataset Diversity and Fragmentation

August 8, 2025

papers.authors: Youguang Xing, Xu Luo, Junlin Xie, Lianli Gao, Hengtao Shen, Jingkuan Song

cs.AI

papers.abstract

Generalisierte Roboterrichtlinien, die auf umfangreichen Datensätzen wie Open X-Embodiment (OXE) trainiert werden, zeigen eine starke Leistung über eine breite Palette von Aufgaben hinweg. Allerdings haben sie oft Schwierigkeiten, über die Verteilung ihrer Trainingsdaten hinaus zu generalisieren. In dieser Arbeit untersuchen wir die zugrunde liegende Ursache für diese begrenzte Generalisierungsfähigkeit. Wir identifizieren das sogenannte Shortcut-Lernen – die Abhängigkeit von aufgabenirrelevanten Merkmalen – als ein zentrales Hindernis für die Generalisierung. Durch umfassende theoretische und empirische Analysen decken wir zwei Hauptursachen für Shortcut-Lernen auf: (1) begrenzte Diversität innerhalb einzelner Unterdatensätze und (2) signifikante verteilungsbezogene Unterschiede zwischen Unterdatensätzen, die zu einer Fragmentierung des Datensatzes führen. Diese Probleme ergeben sich aus der inhärenten Struktur großer Datensätze wie OXE, die typischerweise aus mehreren Unterdatensätzen bestehen, die unabhängig voneinander in verschiedenen Umgebungen und mit unterschiedlichen Embodiments gesammelt wurden. Unsere Erkenntnisse liefern wichtige Einblicke in Datensammlungsstrategien, die Shortcut-Lernen reduzieren und die Generalisierungsfähigkeit generalisierter Roboterrichtlinien verbessern können. Darüber hinaus zeigen wir in Szenarien, in denen die Beschaffung neuer großflächiger Daten unpraktisch ist, dass sorgfältig ausgewählte Strategien zur Roboter-Datenaugmentierung Shortcut-Lernen in bestehenden Offline-Datensätzen effektiv reduzieren können, wodurch die Generalisierungsfähigkeiten generalisierter Roboterrichtlinien, z. B. π₀, sowohl in Simulations- als auch in realen Umgebungen verbessert werden. Weitere Informationen finden Sie unter https://lucky-light-sun.github.io/proj/shortcut-learning-in-grps/.

English

Generalist robot policies trained on large-scale datasets such as Open X-Embodiment (OXE) demonstrate strong performance across a wide range of tasks. However, they often struggle to generalize beyond the distribution of their training data. In this paper, we investigate the underlying cause of this limited generalization capability. We identify shortcut learning -- the reliance on task-irrelevant features -- as a key impediment to generalization. Through comprehensive theoretical and empirical analysis, we uncover two primary contributors to shortcut learning: (1) limited diversity within individual sub-datasets, and (2) significant distributional disparities across sub-datasets, leading to dataset fragmentation. These issues arise from the inherent structure of large-scale datasets like OXE, which are typically composed of multiple sub-datasets collected independently across varied environments and embodiments. Our findings provide critical insights into dataset collection strategies that can reduce shortcut learning and enhance the generalization ability of generalist robot policies. Moreover, in scenarios where acquiring new large-scale data is impractical, we demonstrate that carefully selected robotic data augmentation strategies can effectively reduce shortcut learning in existing offline datasets, thereby improving generalization capabilities of generalist robot policies, e.g., pi_0, in both simulation and real-world environments. More information at https://lucky-light-sun.github.io/proj/shortcut-learning-in-grps/.