Dita: Escalando el Transformer de Difusión para Políticas Generalistas de Visión-Lenguaje-Acción

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

March 25, 2025

Autores: Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

cs.AI

Resumen

Si bien los modelos recientes de visión-lenguaje-acción entrenados en diversos conjuntos de datos robóticos exhiben capacidades prometedoras de generalización con datos limitados en el dominio, su dependencia de cabezales de acción compactos para predecir acciones discretizadas o continuas limita la adaptabilidad a espacios de acción heterogéneos. Presentamos Dita, un marco escalable que aprovecha arquitecturas Transformer para desruir directamente secuencias de acción continuas mediante un proceso unificado de difusión multimodal. A diferencia de métodos anteriores que condicionan la desruido en incrustaciones fusionadas a través de redes superficiales, Dita emplea condicionamiento en contexto, permitiendo una alineación detallada entre acciones desruidas y tokens visuales crudos de observaciones históricas. Este diseño modela explícitamente los deltas de acción y los matices ambientales. Al escalar el desruidor de acción por difusión junto con la escalabilidad del Transformer, Dita integra efectivamente conjuntos de datos de múltiples embodiments a través de diversas perspectivas de cámara, escenas de observación, tareas y espacios de acción. Esta sinergia mejora la robustez frente a varias variaciones y facilita la ejecución exitosa de tareas de largo horizonte. Las evaluaciones en extensos puntos de referencia demuestran un rendimiento de vanguardia o comparable en simulación. Notablemente, Dita logra una adaptación robusta en el mundo real a variaciones ambientales y tareas complejas de largo horizonte mediante ajuste fino con 10 ejemplos, utilizando únicamente entradas de cámara en tercera persona. La arquitectura establece una base versátil, ligera y de código abierto para el aprendizaje de políticas robóticas generalistas. Página del proyecto: https://robodita.github.io.

English

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning -- enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer's scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io.