Trouwheidsbewuste Datasamenstelling voor Robuuste Robotgeneralizatie

Fidelity-Aware Data Composition for Robust Robot Generalization

September 29, 2025

Auteurs: Zizhao Tong, Di Chen, Sicheng Hu, Hongwei Fan, Liliang Chen, Guanghui Ren, Hao Tang, Hao Dong, Ling Shao

cs.AI

Samenvatting

Algemene robotbeleidsmodellen die getraind zijn op grootschalige, visueel homogene datasets kunnen gevoelig zijn voor shortcut learning, wat hun generalisatie buiten de distributie (OOD) belemmert. Hoewel generatieve data-augmentatie een veelgebruikte aanpak is om diversiteit te introduceren, brengt het een subtiele uitdaging met zich mee: datasamenstelling. Het naïef mengen van echte en synthetische data kan het leersignaal verstoren, aangezien dit proces vaak visuele diversiteit voorrang geeft ten koste van informatiegetrouwheid. Dit artikel suggereert dat robuuste generalisatie afhangt van een principiële, getrouwheidsbewuste datasamenstelling. We introduceren Coherent Information Fidelity Tuning (CIFT), een raamwerk dat datasamenstelling behandelt als een optimalisatieprobleem. CIFT gebruikt een praktische proxy voor Informatiegetrouwheid gebaseerd op de feature-space geometrie van een dataset. Dit maakt het mogelijk om een faseovergang, het zogenaamde Decoherentiepunt, te identificeren waar de trainingsstabiliteit afneemt. Het raamwerk omvat een generatieve engine, Multi-View Video Augmentation (MVAug), om een causaal ontward dataspectrum te synthetiseren voor dit afstemmingsproces. Toepassing van CIFT op beleidsarchitecturen zoals pi_0 en Diffusion Policy verbetert de OOD-succespercentages met meer dan 54%. Deze resultaten geven aan dat getrouwheidsbewuste samenstelling, meer dan alleen datasynthese, een belangrijk onderdeel is voor het ontwikkelen van robuuste, algemene robots.

English

Generalist robot policies trained on large-scale, visually homogeneous datasets can be susceptible to shortcut learning, which impairs their out-of-distribution (OOD) generalization. While generative data augmentation is a common approach to introduce diversity, it presents a subtle challenge: data composition. Naively mixing real and synthetic data can corrupt the learning signal, as this process often prioritizes visual diversity at the expense of information fidelity. This paper suggests that robust generalization depends on principled, fidelity-aware data composition. We introduce Coherent Information Fidelity Tuning (CIFT), a framework that treats data composition as an optimization problem. CIFT uses a practical proxy for Information Fidelity based on the feature-space geometry of a dataset. This enables the identification of a phase transition, termed the Decoherence Point, where training stability degrades. The framework includes a generative engine, Multi-View Video Augmentation (MVAug), to synthesize a causally disentangled data spectrum for this tuning process. Applying CIFT to policy architectures such as pi_0 and Diffusion Policy improves OOD success rates by over 54\%. These results indicate that fidelity-aware composition, beyond data synthesis alone, is an important component for developing robust, general-purpose robots.