DynaMo: Предварительное обучение динамики внутри области для управления визуо-моторикой

DynaMo: In-Domain Dynamics Pretraining for Visuo-Motor Control

September 18, 2024

Авторы: Zichen Jeff Cui, Hengkai Pan, Aadhithya Iyer, Siddhant Haldar, Lerrel Pinto

cs.AI

Аннотация

Обучение имитации доказало свою мощь как инструмент для обучения сложных визуомоторных политик. Однако текущие методы часто требуют сотен или тысяч экспертных демонстраций для работы с высокоразмерными визуальными наблюдениями. Одной из основных причин этой низкой эффективности данных является то, что визуальные представления в основном либо предварительно обучены на данных вне домена, либо обучены непосредственно через цель клонирования поведения. В данной работе мы представляем DynaMo, новый метод внутридоменного, самонадзорного обучения визуальным представлениям. Учитывая набор экспертных демонстраций, мы совместно обучаем модель обратной динамики и модель прямой динамики над последовательностью вложений изображений, предсказывая следующий кадр в скрытом пространстве, без аугментаций, контрастной выборки или доступа к действиям истинного значения. Важно отметить, что DynaMo не требует данных вне домена, таких как интернет-наборы данных или наборы данных с кросс-телами. На наборе из шести симулированных и реальных сред мы показываем, что представления, изученные с помощью DynaMo, значительно улучшают производительность последующего обучения имитации по сравнению с предыдущими самонадзорными целями обучения и предварительно обученными представлениями. Выгоды от использования DynaMo сохраняются для классов политик, таких как Behavior Transformer, Diffusion Policy, MLP и ближайшие соседи. Наконец, мы проводим абляцию по ключевым компонентам DynaMo и измеряем его влияние на производительность последующей политики. Видеоролики с роботами лучше смотреть на https://dynamo-ssl.github.io

English

Imitation learning has proven to be a powerful tool for training complex visuomotor policies. However, current methods often require hundreds to thousands of expert demonstrations to handle high-dimensional visual observations. A key reason for this poor data efficiency is that visual representations are predominantly either pretrained on out-of-domain data or trained directly through a behavior cloning objective. In this work, we present DynaMo, a new in-domain, self-supervised method for learning visual representations. Given a set of expert demonstrations, we jointly learn a latent inverse dynamics model and a forward dynamics model over a sequence of image embeddings, predicting the next frame in latent space, without augmentations, contrastive sampling, or access to ground truth actions. Importantly, DynaMo does not require any out-of-domain data such as Internet datasets or cross-embodied datasets. On a suite of six simulated and real environments, we show that representations learned with DynaMo significantly improve downstream imitation learning performance over prior self-supervised learning objectives, and pretrained representations. Gains from using DynaMo hold across policy classes such as Behavior Transformer, Diffusion Policy, MLP, and nearest neighbors. Finally, we ablate over key components of DynaMo and measure its impact on downstream policy performance. Robot videos are best viewed at https://dynamo-ssl.github.io