DynaGuide: Direzione delle Politiche di Diffusione con Guida Dinamica Attiva

DynaGuide: Steering Diffusion Polices with Active Dynamic Guidance

June 16, 2025

Autori: Maximilian Du, Shuran Song

cs.AI

Abstract

L'implementazione di politiche complesse e su larga scala nel mondo reale richiede la capacità di orientarle per adattarle alle esigenze di una situazione. Gli approcci di orientamento più comuni, come il condizionamento agli obiettivi, richiedono l'addestramento della politica del robot considerando una distribuzione di obiettivi da testare. Per superare questa limitazione, presentiamo DynaGuide, un metodo di orientamento per politiche di diffusione che utilizza una guida da un modello dinamico esterno durante il processo di denoising della diffusione. DynaGuide separa il modello dinamico dalla politica di base, conferendogli diversi vantaggi, tra cui la capacità di orientarsi verso più obiettivi, migliorare comportamenti sottorappresentati della politica di base e mantenere la robustezza su obiettivi di bassa qualità. Il segnale di guida separato consente inoltre a DynaGuide di funzionare con politiche di diffusione pre-addestrate disponibili sul mercato. Dimostriamo le prestazioni e le caratteristiche di DynaGuide rispetto ad altri approcci di orientamento in una serie di esperimenti simulati e reali, mostrando un successo medio di orientamento del 70% su un insieme di task articolati di CALVIN e superando il condizionamento agli obiettivi di 5,4 volte quando orientato con obiettivi di bassa qualità. Orientiamo con successo anche una politica pre-addestrata per un robot reale, esprimendo preferenza per oggetti specifici e persino creando comportamenti nuovi. Video e altro materiale sono disponibili sul sito del progetto: https://dynaguide.github.io

English

Deploying large, complex policies in the real world requires the ability to steer them to fit the needs of a situation. Most common steering approaches, like goal-conditioning, require training the robot policy with a distribution of test-time objectives in mind. To overcome this limitation, we present DynaGuide, a steering method for diffusion policies using guidance from an external dynamics model during the diffusion denoising process. DynaGuide separates the dynamics model from the base policy, which gives it multiple advantages, including the ability to steer towards multiple objectives, enhance underrepresented base policy behaviors, and maintain robustness on low-quality objectives. The separate guidance signal also allows DynaGuide to work with off-the-shelf pretrained diffusion policies. We demonstrate the performance and features of DynaGuide against other steering approaches in a series of simulated and real experiments, showing an average steering success of 70% on a set of articulated CALVIN tasks and outperforming goal-conditioning by 5.4x when steered with low-quality objectives. We also successfully steer an off-the-shelf real robot policy to express preference for particular objects and even create novel behavior. Videos and more can be found on the project website: https://dynaguide.github.io