¡Compón tus políticas! Mejorando políticas robóticas basadas en difusión o flujo mediante composición a nivel de distribución en tiempo de prueba

Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition

October 1, 2025

Autores: Jiahang Cao, Yize Huang, Hanzhong Guo, Rui Zhang, Mu Nan, Weijian Mai, Jiaxu Wang, Hao Cheng, Jingkai Sun, Gang Han, Wen Zhao, Qiang Zhang, Yijie Guo, Qihao Zheng, Chunfeng Song, Xiao Li, Ping Luo, Andrew F. Luo

cs.AI

Resumen

Los modelos basados en difusión para el control robótico, incluyendo políticas de visión-lenguaje-acción (VLA) y visión-acción (VA), han demostrado capacidades significativas. Sin embargo, su avance se ve limitado por el alto costo de adquirir conjuntos de datos de interacción a gran escala. Este trabajo introduce un paradigma alternativo para mejorar el rendimiento de las políticas sin necesidad de entrenamiento adicional del modelo. Sorprendentemente, demostramos que las políticas compuestas pueden superar el rendimiento de cualquiera de las políticas originales. Nuestra contribución es triple. Primero, establecemos una base teórica que muestra que la composición convexa de puntuaciones distribucionales de múltiples modelos de difusión puede producir un objetivo funcional de un paso superior al de cualquier puntuación individual. Luego, se utiliza un límite de tipo Grönwall para demostrar que esta mejora de un solo paso se propaga a través de trayectorias de generación completas, lo que conduce a ganancias sistémicas en el rendimiento. Segundo, motivados por estos resultados, proponemos la Composición General de Políticas (GPC, por sus siglas en inglés), un método sin entrenamiento que mejora el rendimiento al combinar las puntuaciones distribucionales de múltiples políticas preentrenadas mediante una combinación convexa y búsqueda en tiempo de prueba. GPC es versátil, permitiendo la composición plug-and-play de políticas heterogéneas, incluyendo modelos VA y VLA, así como aquellos basados en difusión o emparejamiento de flujos, independientemente de sus modalidades visuales de entrada. Tercero, proporcionamos una validación empírica extensa. Los experimentos en los puntos de referencia Robomimic, PushT y RoboTwin, junto con evaluaciones robóticas en el mundo real, confirman que GPC mejora consistentemente el rendimiento y la adaptabilidad en un conjunto diverso de tareas. Un análisis adicional de operadores de composición alternativos y estrategias de ponderación ofrece información sobre los mecanismos subyacentes al éxito de GPC. Estos resultados establecen a GPC como un método simple pero efectivo para mejorar el rendimiento del control aprovechando políticas existentes.

English

Diffusion-based models for robotic control, including vision-language-action (VLA) and vision-action (VA) policies, have demonstrated significant capabilities. Yet their advancement is constrained by the high cost of acquiring large-scale interaction datasets. This work introduces an alternative paradigm for enhancing policy performance without additional model training. Perhaps surprisingly, we demonstrate that the composed policies can exceed the performance of either parent policy. Our contribution is threefold. First, we establish a theoretical foundation showing that the convex composition of distributional scores from multiple diffusion models can yield a superior one-step functional objective compared to any individual score. A Gr\"onwall-type bound is then used to show that this single-step improvement propagates through entire generation trajectories, leading to systemic performance gains. Second, motivated by these results, we propose General Policy Composition (GPC), a training-free method that enhances performance by combining the distributional scores of multiple pre-trained policies via a convex combination and test-time search. GPC is versatile, allowing for the plug-and-play composition of heterogeneous policies, including VA and VLA models, as well as those based on diffusion or flow-matching, irrespective of their input visual modalities. Third, we provide extensive empirical validation. Experiments on Robomimic, PushT, and RoboTwin benchmarks, alongside real-world robotic evaluations, confirm that GPC consistently improves performance and adaptability across a diverse set of tasks. Further analysis of alternative composition operators and weighting strategies offers insights into the mechanisms underlying the success of GPC. These results establish GPC as a simple yet effective method for improving control performance by leveraging existing policies.