ポリシーを組み立てよ！テスト時の分布レベル合成による拡散モデルまたはフローベースのロボットポリシーの改善

要旨

ロボット制御のための拡散モデル、特に視覚-言語-行動（VLA）および視覚-行動（VA）ポリシーは、その優れた能力を実証してきました。しかし、大規模なインタラクションデータセットの取得コストが高いため、その進展は制約を受けています。本研究では、追加のモデルトレーニングなしにポリシーパフォーマンスを向上させるための新たなパラダイムを提案します。驚くべきことに、合成されたポリシーが親ポリシーのいずれをも上回る性能を発揮することを実証します。我々の貢献は三つあります。第一に、複数の拡散モデルからの分布スコアの凸結合が、個々のスコアよりも優れた1ステップの関数目的を生み出すことを示す理論的基盤を確立します。その後、Gr\"onwall型の境界を用いて、この単一ステップの改善が生成軌跡全体に伝播し、システム全体の性能向上につながることを示します。第二に、これらの結果に基づいて、事前学習済みの複数のポリシーの分布スコアを凸結合とテスト時探索によって組み合わせることで性能を向上させる、トレーニング不要の手法であるGeneral Policy Composition（GPC）を提案します。GPCは柔軟性が高く、VAやVLAモデル、拡散やフローマッチングに基づくモデルなど、異種のポリシーをプラグアンドプレイで合成することが可能であり、入力視覚モダリティに関係なく適用できます。第三に、広範な実証的検証を提供します。Robomimic、PushT、RoboTwinベンチマークでの実験と実世界のロボット評価を通じて、GPCが多様なタスクにおいて一貫して性能と適応性を向上させることを確認します。さらに、代替の合成演算子と重み付け戦略の分析を通じて、GPCの成功の背後にあるメカニズムについての洞察を提供します。これらの結果は、既存のポリシーを活用して制御性能を向上させるためのシンプルかつ効果的な手法としてGPCを確立します。

English

Diffusion-based models for robotic control, including vision-language-action (VLA) and vision-action (VA) policies, have demonstrated significant capabilities. Yet their advancement is constrained by the high cost of acquiring large-scale interaction datasets. This work introduces an alternative paradigm for enhancing policy performance without additional model training. Perhaps surprisingly, we demonstrate that the composed policies can exceed the performance of either parent policy. Our contribution is threefold. First, we establish a theoretical foundation showing that the convex composition of distributional scores from multiple diffusion models can yield a superior one-step functional objective compared to any individual score. A Gr\"onwall-type bound is then used to show that this single-step improvement propagates through entire generation trajectories, leading to systemic performance gains. Second, motivated by these results, we propose General Policy Composition (GPC), a training-free method that enhances performance by combining the distributional scores of multiple pre-trained policies via a convex combination and test-time search. GPC is versatile, allowing for the plug-and-play composition of heterogeneous policies, including VA and VLA models, as well as those based on diffusion or flow-matching, irrespective of their input visual modalities. Third, we provide extensive empirical validation. Experiments on Robomimic, PushT, and RoboTwin benchmarks, alongside real-world robotic evaluations, confirm that GPC consistently improves performance and adaptability across a diverse set of tasks. Further analysis of alternative composition operators and weighting strategies offers insights into the mechanisms underlying the success of GPC. These results establish GPC as a simple yet effective method for improving control performance by leveraging existing policies.

ポリシーを組み立てよ！テスト時の分布レベル合成による拡散モデルまたはフローベースのロボットポリシーの改善

Compose Your Policies! Improving Diffusion-based or Flow-based Robot Policies via Test-time Distribution-level Composition

要旨

Support