Componi le tue politiche! Migliorare le politiche robotiche basate su diffusione o flusso attraverso la composizione a livello di distribuzione durante il test

Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition

October 1, 2025

Autori: Jiahang Cao, Yize Huang, Hanzhong Guo, Rui Zhang, Mu Nan, Weijian Mai, Jiaxu Wang, Hao Cheng, Jingkai Sun, Gang Han, Wen Zhao, Qiang Zhang, Yijie Guo, Qihao Zheng, Chunfeng Song, Xiao Li, Ping Luo, Andrew F. Luo

cs.AI

Abstract

I modelli basati sulla diffusione per il controllo robotico, incluse le politiche visione-linguaggio-azione (VLA) e visione-azione (VA), hanno dimostrato capacità significative. Tuttavia, il loro progresso è limitato dall'elevato costo di acquisizione di dataset di interazione su larga scala. Questo lavoro introduce un paradigma alternativo per migliorare le prestazioni delle politiche senza ulteriore addestramento del modello. Sorprendentemente, dimostriamo che le politiche composte possono superare le prestazioni di ciascuna politica genitore. Il nostro contributo è triplice. In primo luogo, stabiliamo una base teorica mostrando che la composizione convessa dei punteggi distribuzionali di più modelli di diffusione può produrre un obiettivo funzionale a un passo superiore rispetto a qualsiasi punteggio individuale. Un limite di tipo Gr\"onwall viene quindi utilizzato per dimostrare che questo miglioramento a un singolo passo si propaga attraverso intere traiettorie di generazione, portando a guadagni sistemici nelle prestazioni. In secondo luogo, motivati da questi risultati, proponiamo la Composizione Generale delle Politiche (GPC), un metodo senza addestramento che migliora le prestazioni combinando i punteggi distribuzionali di più politiche pre-addestrate attraverso una combinazione convessa e una ricerca al momento del test. GPC è versatile, consentendo la composizione plug-and-play di politiche eterogenee, inclusi modelli VA e VLA, nonché quelli basati su diffusione o flow-matching, indipendentemente dalle loro modalità visive di input. In terzo luogo, forniamo una validazione empirica estesa. Esperimenti sui benchmark Robomimic, PushT e RoboTwin, insieme a valutazioni robotiche nel mondo reale, confermano che GPC migliora costantemente le prestazioni e l'adattabilità in un'ampia gamma di compiti. Un'ulteriore analisi degli operatori di composizione alternativi e delle strategie di ponderazione offre approfondimenti sui meccanismi alla base del successo di GPC. Questi risultati stabiliscono GPC come un metodo semplice ma efficace per migliorare le prestazioni di controllo sfruttando le politiche esistenti.

English

Diffusion-based models for robotic control, including vision-language-action (VLA) and vision-action (VA) policies, have demonstrated significant capabilities. Yet their advancement is constrained by the high cost of acquiring large-scale interaction datasets. This work introduces an alternative paradigm for enhancing policy performance without additional model training. Perhaps surprisingly, we demonstrate that the composed policies can exceed the performance of either parent policy. Our contribution is threefold. First, we establish a theoretical foundation showing that the convex composition of distributional scores from multiple diffusion models can yield a superior one-step functional objective compared to any individual score. A Gr\"onwall-type bound is then used to show that this single-step improvement propagates through entire generation trajectories, leading to systemic performance gains. Second, motivated by these results, we propose General Policy Composition (GPC), a training-free method that enhances performance by combining the distributional scores of multiple pre-trained policies via a convex combination and test-time search. GPC is versatile, allowing for the plug-and-play composition of heterogeneous policies, including VA and VLA models, as well as those based on diffusion or flow-matching, irrespective of their input visual modalities. Third, we provide extensive empirical validation. Experiments on Robomimic, PushT, and RoboTwin benchmarks, alongside real-world robotic evaluations, confirm that GPC consistently improves performance and adaptability across a diverse set of tasks. Further analysis of alternative composition operators and weighting strategies offers insights into the mechanisms underlying the success of GPC. These results establish GPC as a simple yet effective method for improving control performance by leveraging existing policies.