Gestalten Sie Ihre Richtlinien! Verbesserung diffusionsbasierter oder flussbasierter Roboterrichtlinien durch testzeitliche Zusammensetzung auf Verteilungsebene

Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition

October 1, 2025

papers.authors: Jiahang Cao, Yize Huang, Hanzhong Guo, Rui Zhang, Mu Nan, Weijian Mai, Jiaxu Wang, Hao Cheng, Jingkai Sun, Gang Han, Wen Zhao, Qiang Zhang, Yijie Guo, Qihao Zheng, Chunfeng Song, Xiao Li, Ping Luo, Andrew F. Luo

cs.AI

papers.abstract

Diffusionsbasierte Modelle für die robotische Steuerung, einschließlich Vision-Language-Action (VLA) und Vision-Action (VA) Policies, haben bedeutende Fähigkeiten demonstriert. Dennoch wird ihre Weiterentwicklung durch die hohen Kosten der Beschaffung groß angelegter Interaktionsdatensätze eingeschränkt. Diese Arbeit stellt ein alternatives Paradigma zur Verbesserung der Policy-Leistung ohne zusätzliches Modelltraining vor. Überraschenderweise zeigen wir, dass die zusammengesetzten Policies die Leistung jeder einzelnen Eltern-Policy übertreffen können. Unser Beitrag ist dreifach. Erstens legen wir eine theoretische Grundlage dar, die zeigt, dass die konvexe Zusammensetzung von Verteilungsscores mehrerer Diffusionsmodelle ein überlegenes Ein-Schritt-Funktionsziel im Vergleich zu jedem einzelnen Score ergeben kann. Eine Grönwall-ähnliche Schranke wird dann verwendet, um zu zeigen, dass diese Ein-Schritt-Verbesserung sich durch gesamte Generierungspfade fortsetzt und zu systemischen Leistungssteigerungen führt. Zweitens schlagen wir, motiviert durch diese Ergebnisse, General Policy Composition (GPC) vor, eine trainingsfreie Methode, die die Leistung durch die Kombination der Verteilungsscores mehrerer vortrainierter Policies mittels einer konvexen Kombination und Testzeit-Suche verbessert. GPC ist vielseitig und ermöglicht die Plug-and-Play-Zusammensetzung heterogener Policies, einschließlich VA- und VLA-Modelle sowie solcher, die auf Diffusion oder Flow-Matching basieren, unabhängig von ihren visuellen Eingabemodalitäten. Drittens liefern wir umfangreiche empirische Validierungen. Experimente auf den Benchmarks Robomimic, PushT und RoboTwin sowie reale robotische Bewertungen bestätigen, dass GPC die Leistung und Anpassungsfähigkeit über eine Vielzahl von Aufgaben hinweg konsequent verbessert. Eine weitere Analyse alternativer Kompositionsoperatoren und Gewichtungsstrategien bietet Einblicke in die Mechanismen, die dem Erfolg von GPC zugrunde liegen. Diese Ergebnisse etablieren GPC als eine einfache, aber effektive Methode zur Verbesserung der Steuerungsleistung durch die Nutzung bestehender Policies.

English

Diffusion-based models for robotic control, including vision-language-action (VLA) and vision-action (VA) policies, have demonstrated significant capabilities. Yet their advancement is constrained by the high cost of acquiring large-scale interaction datasets. This work introduces an alternative paradigm for enhancing policy performance without additional model training. Perhaps surprisingly, we demonstrate that the composed policies can exceed the performance of either parent policy. Our contribution is threefold. First, we establish a theoretical foundation showing that the convex composition of distributional scores from multiple diffusion models can yield a superior one-step functional objective compared to any individual score. A Gr\"onwall-type bound is then used to show that this single-step improvement propagates through entire generation trajectories, leading to systemic performance gains. Second, motivated by these results, we propose General Policy Composition (GPC), a training-free method that enhances performance by combining the distributional scores of multiple pre-trained policies via a convex combination and test-time search. GPC is versatile, allowing for the plug-and-play composition of heterogeneous policies, including VA and VLA models, as well as those based on diffusion or flow-matching, irrespective of their input visual modalities. Third, we provide extensive empirical validation. Experiments on Robomimic, PushT, and RoboTwin benchmarks, alongside real-world robotic evaluations, confirm that GPC consistently improves performance and adaptability across a diverse set of tasks. Further analysis of alternative composition operators and weighting strategies offers insights into the mechanisms underlying the success of GPC. These results establish GPC as a simple yet effective method for improving control performance by leveraging existing policies.