Dita: Масштабирование диффузионного трансформера для универсальной политики в области зрения, языка и действий

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

March 25, 2025

Авторы: Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

cs.AI

Аннотация

Хотя современные модели "зрение-язык-действие", обученные на разнообразных роботизированных данных, демонстрируют многообещающие способности к обобщению при ограниченном объеме внутридоменных данных, их зависимость от компактных головных модулей для предсказания дискретных или непрерывных действий ограничивает адаптируемость к гетерогенным пространствам действий. Мы представляем Dita, масштабируемую структуру, которая использует архитектуры Transformer для непосредственного устранения шума в непрерывных последовательностях действий через унифицированный мультимодальный процесс диффузии. В отличие от предыдущих методов, которые основывают устранение шума на объединенных вложениях через поверхностные сети, Dita применяет контекстное условие — обеспечивая детальное согласование между очищенными действиями и сырыми визуальными токенами из исторических наблюдений. Этот подход явно моделирует изменения действий и нюансы окружающей среды. Масштабируя модуль устранения шума действий наряду с масштабируемостью Transformer, Dita эффективно интегрирует данные из различных воплощений, охватывая разнообразные перспективы камер, сцены наблюдений, задачи и пространства действий. Такая синергия повышает устойчивость к различным вариациям и способствует успешному выполнению долгосрочных задач. Оценки на обширных тестах демонстрируют передовые или сопоставимые результаты в симуляции. Примечательно, что Dita достигает устойчивой адаптации в реальном мире к вариациям окружающей среды и сложным долгосрочным задачам через 10-кратную тонкую настройку, используя только входные данные с камер от третьего лица. Архитектура устанавливает универсальную, легковесную и открытую базовую линию для обучения обобщенных роботизированных политик. Страница проекта: https://robodita.github.io.

English

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning -- enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer's scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io.