SIEVE: Strukturbewusste Datenauswahl für Imitation Learning mit VLA-Modellen

Zusammenfassung

Vision-Language-Action (VLA)-Modelle werden typischerweise durch Imitation Learning auf großen Roboterdemonstrationsdatensätzen trainiert, wobei jedoch mehr Daten nicht zwangsläufig zu besseren Strategien führen, bedingt durch Redundanz, Rauschen und ungleichmäßige Abdeckung. Bestehende Datenauswahlmethoden bewerten Demonstrationen oft entweder auf Trajektorien- oder Zustand-Aktion-Ebene und übersehen dabei die wiederverwendbaren Strukturen, die langfristige Verhaltensweisen zusammensetzen. In dieser Arbeit schlagen wir SIEVE vor, eine strukturbewusste Datenauswahlmethode für VLA-Imitation Learning. SIEVE betrachtet Demonstrationen als Zusammensetzungen wiederverwendbarer Primitive und Übergangsschnittstellen. Zunächst werden visuo-motorische Primitive aus segmentierten Trajektorien entdeckt, dann werden Auswahlbudgets auf Kompositionsmuster verteilt, indem die wiederverwendungsbewusste strukturelle Exposition unter abnehmenden Erträgen maximiert wird. Schließlich werden Medoid-Trajektorien innerhalb jedes Kompositionsmuster-Buckets ausgewählt, um zentrale, stabile und imitationstaugliche Demonstrationen zu erhalten. Experimente mit mehreren Datensätzen, Benchmarks und VLA-Modellen zeigen, dass SIEVE durchgängig bessere Ergebnisse erzielt als konkurrierende Basislinien zur Datenauswahl. Bemerkenswerterweise kann SIEVE das vollständige Datentraining übertreffen, während nur 50 % der Demonstrationen und 50 % der Trainingsschritte verwendet werden. Dies deutet darauf hin, dass die wiederverwendbare Struktur, erfasst durch Primitive und Übergänge, ein wichtiges Signal für effizientes VLA-Imitation Learning darstellt.

English

Vision-Language-Action (VLA) models are typically trained by imitation learning on large-scale robot demonstration datasets, but more data does not necessarily yield better policies due to redundancy, noise, and uneven coverage. Existing data selection methods often assess demonstrations at either the trajectory or state-action level, missing the reusable structures that compose long-horizon behaviors. In this paper, we propose SIEVE, a structure-aware data selection method for VLA imitation learning. SIEVE views demonstrations as compositions of reusable primitives and transition interfaces. It first discovers visuo-motor primitives from segmented trajectories, then allocates selection budgets to composition patterns by maximizing reuse-aware structural exposure under diminishing returns. Finally, it selects medoid trajectories within each composition-pattern bucket to retain central, stable, and imitation-friendly demonstrations. Experiments across multiple datasets, benchmarks, and VLA models show that SIEVE consistently outperforms competitive data selection baselines. Notably, SIEVE can surpass full-data training while using only 50% of demonstrations and 50% of training steps, suggesting that reusable structure, captured through primitives and transitions, is an important signal for efficient VLA imitation learning.