Flash-WAM : Distillation sensible à la modalité pour les modèles d'action mondiaux

Résumé

Les modèles monde-action (WAMs) génèrent conjointement des vidéos et actions robotiques futures par diffusion itérative, obtenant des performances élevées sur les benchmarks de manipulation mais nécessitant des dizaines d'étapes de débruitage, un coût qui exclut le contrôle en temps réel. La distillation d'étapes est apparue comme le remède naturel, mais les méthodes prêtes à l'emploi échouent dans le cadre conjoint vidéo-action car les flux vidéo et action utilisent des calendriers de bruit décalés en SNR différents et atteignent l'entraînement avec des distributions de bruit marginales sensiblement différentes, une asymétrie que les méthodes de distillation unimodales ne peuvent pas prendre en compte. Nous introduisons Flash-WAM, un cadre de distillation d'étapes conscient des modalités inspiré de la distillation de cohérence, qui sélectionne la fonction de cohérence pour chaque modalité afin de correspondre à son régime de bruit : une paramétrisation à mise à l'échelle linéaire du gradient pour le régime de faible bruit du flux d'action, associée à une paramétrisation préservant la variance pour le régime de bruit élevé du flux vidéo, fondée sur une analyse structurelle de la famille des fonctions de cohérence qui caractérise la mise à l'échelle du gradient réalisable sous la condition limite de cohérence. Instancié sur LingBot-VA, Flash-WAM comprime l'inférence en une seule étape pour chaque modalité. Sur RoboTwin 2.0, cela réduit la latence par segment de 8,1 secondes à 348 ms sur NVIDIA L40S, soit une accélération de 23× permettant une inférence en temps réel. Flash-WAM préserve le succès des tâches sur les benchmarks de simulation (85,5 % RoboTwin 2.0, 95,7 % LIBERO) et récupère substantiellement les performances réelles (60 % en moyenne sur un robot humanoïde Unitree G1), tandis que la distillation de cohérence naïve chute à 24 % avec le même budget d'étapes.

English

World-action models (WAMs) jointly generate future video and robot actions through iterative diffusion, achieving strong performance on manipulation benchmarks but requiring tens of denoising steps, a cost that precludes real-time control. Step distillation has emerged as the natural remedy, but off-the-shelf methods break down in the joint video-action setting because video and action streams use different SNR-shifted noise schedules and reach training with substantially different marginal noise distributions, an asymmetry that single-modality distillation methods cannot accommodate. We introduce Flash-WAM, a modality-aware step-distillation framework inspired by consistency distillation that selects the consistency function for each modality to match its noise regime: a linear-gradient-scaling parametrization for the action stream's low-noise regime, paired with a variance-preserving parametrization for the video stream's high-noise regime, grounded in a structural analysis of the consistency-function family that characterizes the achievable gradient scaling under the consistency boundary condition. Instantiated on LingBot-VA, Flash-WAM compresses inference to a single step in each modality. On RoboTwin 2.0, this reduces per-chunk latency from 8.1 seconds to 348 ms on NVIDIA L40S, a 23{times} speedup that enables real-time inference. Flash-WAM preserves task success on simulation benchmarks (85.5% RoboTwin 2.0, 95.7% LIBERO) and substantially recovers real-world performance (60% average on a Unitree G1 humanoid robot), while naive consistency distillation drops to 24% at the same step budget.