Composez vos politiques ! Amélioration des politiques robotiques basées sur la diffusion ou les flux via une composition au niveau de la distribution pendant les tests

Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition

October 1, 2025

papers.authors: Jiahang Cao, Yize Huang, Hanzhong Guo, Rui Zhang, Mu Nan, Weijian Mai, Jiaxu Wang, Hao Cheng, Jingkai Sun, Gang Han, Wen Zhao, Qiang Zhang, Yijie Guo, Qihao Zheng, Chunfeng Song, Xiao Li, Ping Luo, Andrew F. Luo

cs.AI

papers.abstract

Les modèles basés sur la diffusion pour le contrôle robotique, incluant les politiques vision-langage-action (VLA) et vision-action (VA), ont démontré des capacités significatives. Cependant, leur avancée est limitée par le coût élevé de l'acquisition de jeux de données d'interaction à grande échelle. Ce travail introduit un paradigme alternatif pour améliorer les performances des politiques sans entraînement supplémentaire du modèle. De manière surprenante, nous montrons que les politiques composées peuvent surpasser les performances de chaque politique parente. Notre contribution est triple. Premièrement, nous établissons un fondement théorique montrant que la composition convexe des scores distributionnels de plusieurs modèles de diffusion peut produire un objectif fonctionnel en une étape supérieur à celui de tout score individuel. Une inégalité de type Grönwall est ensuite utilisée pour montrer que cette amélioration en une étape se propage à travers les trajectoires de génération entières, conduisant à des gains de performance systémiques. Deuxièmement, motivés par ces résultats, nous proposons la Composition Générale de Politiques (GPC), une méthode sans entraînement qui améliore les performances en combinant les scores distributionnels de plusieurs politiques pré-entraînées via une combinaison convexe et une recherche au moment du test. GPC est polyvalente, permettant la composition plug-and-play de politiques hétérogènes, incluant des modèles VA et VLA, ainsi que ceux basés sur la diffusion ou l'appariement de flux, indépendamment de leurs modalités visuelles d'entrée. Troisièmement, nous fournissons une validation empirique approfondie. Les expériences sur les benchmarks Robomimic, PushT et RoboTwin, ainsi que les évaluations robotiques en conditions réelles, confirment que GPC améliore constamment les performances et l'adaptabilité sur un ensemble diversifié de tâches. Une analyse approfondie des opérateurs de composition alternatifs et des stratégies de pondération offre des insights sur les mécanismes sous-jacents au succès de GPC. Ces résultats établissent GPC comme une méthode simple mais efficace pour améliorer les performances de contrôle en exploitant les politiques existantes.

English

Diffusion-based models for robotic control, including vision-language-action (VLA) and vision-action (VA) policies, have demonstrated significant capabilities. Yet their advancement is constrained by the high cost of acquiring large-scale interaction datasets. This work introduces an alternative paradigm for enhancing policy performance without additional model training. Perhaps surprisingly, we demonstrate that the composed policies can exceed the performance of either parent policy. Our contribution is threefold. First, we establish a theoretical foundation showing that the convex composition of distributional scores from multiple diffusion models can yield a superior one-step functional objective compared to any individual score. A Gr\"onwall-type bound is then used to show that this single-step improvement propagates through entire generation trajectories, leading to systemic performance gains. Second, motivated by these results, we propose General Policy Composition (GPC), a training-free method that enhances performance by combining the distributional scores of multiple pre-trained policies via a convex combination and test-time search. GPC is versatile, allowing for the plug-and-play composition of heterogeneous policies, including VA and VLA models, as well as those based on diffusion or flow-matching, irrespective of their input visual modalities. Third, we provide extensive empirical validation. Experiments on Robomimic, PushT, and RoboTwin benchmarks, alongside real-world robotic evaluations, confirm that GPC consistently improves performance and adaptability across a diverse set of tasks. Further analysis of alternative composition operators and weighting strategies offers insights into the mechanisms underlying the success of GPC. These results establish GPC as a simple yet effective method for improving control performance by leveraging existing policies.