DynaGuide：アクティブダイナミックガイダンスによる拡散ポリシーの制御

DynaGuide: Steering Diffusion Polices with Active Dynamic Guidance

June 16, 2025

著者: Maximilian Du, Shuran Song

cs.AI

要旨

現実世界において大規模で複雑なポリシーを展開するには、状況に応じてそれらを適応させる能力が必要である。目標条件付けのような最も一般的な適応手法では、テスト時の目的の分布を考慮してロボットポリシーを訓練する必要がある。この制限を克服するため、我々はDynaGuideを提案する。これは、拡散デノイジングプロセス中に外部のダイナミクスモデルからのガイダンスを用いて拡散ポリシーを適応させる手法である。DynaGuideはダイナミクスモデルを基本ポリシーから分離することで、複数の目的に向けた適応、基本ポリシーの挙動の強化、低品質の目的に対するロバスト性の維持といった複数の利点を持つ。また、分離されたガイダンス信号により、DynaGuideは既存の事前訓練済み拡散ポリシーと連携することが可能である。我々は、一連のシミュレーションおよび実世界実験において、DynaGuideの性能と特徴を他の適応手法と比較し、CALVINタスクセットにおいて平均70%の適応成功率を示し、低品質の目的で適応させた場合、目標条件付けを5.4倍上回る結果を得た。さらに、既存の実ロボットポリシーを特定の物体に対する選好を示すよう適応させ、新たな挙動を創出することにも成功した。動画や詳細はプロジェクトウェブサイト（https://dynaguide.github.io）で確認できる。

English

Deploying large, complex policies in the real world requires the ability to steer them to fit the needs of a situation. Most common steering approaches, like goal-conditioning, require training the robot policy with a distribution of test-time objectives in mind. To overcome this limitation, we present DynaGuide, a steering method for diffusion policies using guidance from an external dynamics model during the diffusion denoising process. DynaGuide separates the dynamics model from the base policy, which gives it multiple advantages, including the ability to steer towards multiple objectives, enhance underrepresented base policy behaviors, and maintain robustness on low-quality objectives. The separate guidance signal also allows DynaGuide to work with off-the-shelf pretrained diffusion policies. We demonstrate the performance and features of DynaGuide against other steering approaches in a series of simulated and real experiments, showing an average steering success of 70% on a set of articulated CALVIN tasks and outperforming goal-conditioning by 5.4x when steered with low-quality objectives. We also successfully steer an off-the-shelf real robot policy to express preference for particular objects and even create novel behavior. Videos and more can be found on the project website: https://dynaguide.github.io