Создавайте свои политики! Улучшение роботизированных политик на основе диффузии или потоков через композицию на уровне распределения во время тестирования

Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition

October 1, 2025

Авторы: Jiahang Cao, Yize Huang, Hanzhong Guo, Rui Zhang, Mu Nan, Weijian Mai, Jiaxu Wang, Hao Cheng, Jingkai Sun, Gang Han, Wen Zhao, Qiang Zhang, Yijie Guo, Qihao Zheng, Chunfeng Song, Xiao Li, Ping Luo, Andrew F. Luo

cs.AI

Аннотация

Диффузионные модели для управления роботами, включая политики "визуальный язык-действие" (VLA) и "визуальный-действие" (VA), продемонстрировали значительные возможности. Однако их развитие ограничивается высокой стоимостью получения крупномасштабных наборов данных взаимодействия. В данной работе предлагается альтернативный подход для повышения производительности политик без дополнительного обучения моделей. Удивительно, но мы показываем, что составленные политики могут превзойти производительность любой из исходных политик. Наш вклад состоит из трех частей. Во-первых, мы устанавливаем теоретическую основу, показывая, что выпуклая композиция распределительных оценок нескольких диффузионных моделей может дать превосходный одношаговый функциональный объект по сравнению с любой отдельной оценкой. Затем используется граница типа Грёнвалла, чтобы показать, что это улучшение на одном шаге распространяется на все траектории генерации, приводя к системному повышению производительности. Во-вторых, основываясь на этих результатах, мы предлагаем метод General Policy Composition (GPC), который не требует обучения и повышает производительность за счет комбинирования распределительных оценок нескольких предварительно обученных политик с помощью выпуклой комбинации и поиска на этапе тестирования. GPC универсален, позволяя подключать и комбинировать разнородные политики, включая модели VA и VLA, а также модели, основанные на диффузии или согласовании потоков, независимо от их входных визуальных модальностей. В-третьих, мы предоставляем обширную эмпирическую проверку. Эксперименты на бенчмарках Robomimic, PushT и RoboTwin, а также оценки на реальных роботах подтверждают, что GPC последовательно улучшает производительность и адаптивность в широком спектре задач. Дополнительный анализ альтернативных операторов композиции и стратегий взвешивания дает понимание механизмов, лежащих в основе успеха GPC. Эти результаты устанавливают GPC как простой, но эффективный метод улучшения производительности управления за счет использования существующих политик.

English

Diffusion-based models for robotic control, including vision-language-action (VLA) and vision-action (VA) policies, have demonstrated significant capabilities. Yet their advancement is constrained by the high cost of acquiring large-scale interaction datasets. This work introduces an alternative paradigm for enhancing policy performance without additional model training. Perhaps surprisingly, we demonstrate that the composed policies can exceed the performance of either parent policy. Our contribution is threefold. First, we establish a theoretical foundation showing that the convex composition of distributional scores from multiple diffusion models can yield a superior one-step functional objective compared to any individual score. A Gr\"onwall-type bound is then used to show that this single-step improvement propagates through entire generation trajectories, leading to systemic performance gains. Second, motivated by these results, we propose General Policy Composition (GPC), a training-free method that enhances performance by combining the distributional scores of multiple pre-trained policies via a convex combination and test-time search. GPC is versatile, allowing for the plug-and-play composition of heterogeneous policies, including VA and VLA models, as well as those based on diffusion or flow-matching, irrespective of their input visual modalities. Third, we provide extensive empirical validation. Experiments on Robomimic, PushT, and RoboTwin benchmarks, alongside real-world robotic evaluations, confirm that GPC consistently improves performance and adaptability across a diverse set of tasks. Further analysis of alternative composition operators and weighting strategies offers insights into the mechanisms underlying the success of GPC. These results establish GPC as a simple yet effective method for improving control performance by leveraging existing policies.