DynaGuide: Lenkung von Diffusionsprozessen durch aktive dynamische Steuerung

DynaGuide: Steering Diffusion Polices with Active Dynamic Guidance

June 16, 2025

Autoren: Maximilian Du, Shuran Song

cs.AI

Zusammenfassung

Die Implementierung großer, komplexer Strategien in der realen Welt erfordert die Fähigkeit, sie so zu steuern, dass sie den Anforderungen einer Situation gerecht werden. Die gängigsten Steuerungsansätze, wie zielbedingte Steuerung, erfordern das Training der Roboterstrategie mit einer Verteilung von Testzeitzielen im Hinterkopf. Um diese Einschränkung zu überwinden, präsentieren wir DynaGuide, eine Steuerungsmethode für Diffusionsstrategien, die während des Diffusionsentrauschungsprozesses eine Anleitung durch ein externes Dynamikmodell nutzt. DynaGuide trennt das Dynamikmodell von der Basispolitik, was mehrere Vorteile bietet, darunter die Fähigkeit, auf mehrere Ziele hin zu steuern, unterrepräsentierte Verhaltensweisen der Basispolitik zu verstärken und die Robustheit bei qualitativ minderwertigen Zielen zu bewahren. Das separate Anleitungssignal ermöglicht es DynaGuide auch, mit vorgefertigten, vortrainierten Diffusionsstrategien zu arbeiten. Wir demonstrieren die Leistung und die Merkmale von DynaGuide im Vergleich zu anderen Steuerungsansätzen in einer Reihe von simulierten und realen Experimenten und zeigen eine durchschnittliche Steuerungserfolgsrate von 70 % bei einer Reihe von artikulierten CALVIN-Aufgaben sowie eine 5,4-fache Überlegenheit gegenüber der zielbedingten Steuerung bei der Verwendung qualitativ minderwertiger Ziele. Wir steuern auch erfolgreich eine vorgefertigte Roboterstrategie in der realen Welt, um eine Präferenz für bestimmte Objekte auszudrücken und sogar neues Verhalten zu erzeugen. Videos und weitere Informationen finden Sie auf der Projektwebsite: https://dynaguide.github.io.

English

Deploying large, complex policies in the real world requires the ability to steer them to fit the needs of a situation. Most common steering approaches, like goal-conditioning, require training the robot policy with a distribution of test-time objectives in mind. To overcome this limitation, we present DynaGuide, a steering method for diffusion policies using guidance from an external dynamics model during the diffusion denoising process. DynaGuide separates the dynamics model from the base policy, which gives it multiple advantages, including the ability to steer towards multiple objectives, enhance underrepresented base policy behaviors, and maintain robustness on low-quality objectives. The separate guidance signal also allows DynaGuide to work with off-the-shelf pretrained diffusion policies. We demonstrate the performance and features of DynaGuide against other steering approaches in a series of simulated and real experiments, showing an average steering success of 70% on a set of articulated CALVIN tasks and outperforming goal-conditioning by 5.4x when steered with low-quality objectives. We also successfully steer an off-the-shelf real robot policy to express preference for particular objects and even create novel behavior. Videos and more can be found on the project website: https://dynaguide.github.io