DynaMo: Vorabtraining der In-Domain-Dynamik für visuomotorische Steuerung

DynaMo: In-Domain Dynamics Pretraining for Visuo-Motor Control

September 18, 2024

Autoren: Zichen Jeff Cui, Hengkai Pan, Aadhithya Iyer, Siddhant Haldar, Lerrel Pinto

cs.AI

Zusammenfassung

Das Imitationslernen hat sich als ein leistungsstolles Werkzeug für das Training komplexer visuomotorischer Richtlinien erwiesen. Allerdings erfordern aktuelle Methoden oft Hunderte bis Tausende von Expertendemonstrationen, um hochdimensionale visuelle Beobachtungen zu bewältigen. Ein wesentlicher Grund für diese geringe Dateneffizienz ist, dass visuelle Repräsentationen hauptsächlich entweder auf out-of-domain Daten vorab trainiert oder direkt durch ein Verhaltensklonungsziel trainiert werden. In dieser Arbeit präsentieren wir DynaMo, eine neue in-domain, selbstüberwachte Methode zum Erlernen visueller Repräsentationen. Unter Verwendung eines Satzes von Expertendemonstrationen lernen wir gemeinsam ein latentes inverses Dynamikmodell und ein Vorwärtsdynamikmodell über eine Sequenz von Bild-Einbettungen. Dabei wird das nächste Bild im latenten Raum vorhergesagt, ohne Augmentationen, kontrastive Abtastung oder Zugriff auf Ground-Truth-Aktionen. Wichtig ist, dass DynaMo keine out-of-domain Daten wie Internetdatensätze oder Cross-Embodied-Datensätze erfordert. In einer Reihe von sechs simulierten und realen Umgebungen zeigen wir, dass mit DynaMo erlernte Repräsentationen die Leistung des nachgelagerten Imitationslernens signifikant verbessern im Vergleich zu früheren selbstüberwachten Lernzielen und vorab trainierten Repräsentationen. Die Vorteile der Verwendung von DynaMo erstrecken sich über Richtlinienklassen wie Behavior Transformer, Diffusion Policy, MLP und nächste Nachbarn. Schließlich untersuchen wir Schlüsselkomponenten von DynaMo und messen deren Auswirkung auf die nachgelagerte Richtlinienleistung. Roboter-Videos sind am besten unter https://dynamo-ssl.github.io anzusehen.

English

Imitation learning has proven to be a powerful tool for training complex visuomotor policies. However, current methods often require hundreds to thousands of expert demonstrations to handle high-dimensional visual observations. A key reason for this poor data efficiency is that visual representations are predominantly either pretrained on out-of-domain data or trained directly through a behavior cloning objective. In this work, we present DynaMo, a new in-domain, self-supervised method for learning visual representations. Given a set of expert demonstrations, we jointly learn a latent inverse dynamics model and a forward dynamics model over a sequence of image embeddings, predicting the next frame in latent space, without augmentations, contrastive sampling, or access to ground truth actions. Importantly, DynaMo does not require any out-of-domain data such as Internet datasets or cross-embodied datasets. On a suite of six simulated and real environments, we show that representations learned with DynaMo significantly improve downstream imitation learning performance over prior self-supervised learning objectives, and pretrained representations. Gains from using DynaMo hold across policy classes such as Behavior Transformer, Diffusion Policy, MLP, and nearest neighbors. Finally, we ablate over key components of DynaMo and measure its impact on downstream policy performance. Robot videos are best viewed at https://dynamo-ssl.github.io