Dita: Escalonando o Transformer de Difusão para Políticas Generalistas de Visão-Linguagem-Ação

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

March 25, 2025

Autores: Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

cs.AI

Resumo

Embora modelos recentes de visão-linguagem-ação treinados em diversos conjuntos de dados robóticos exibam capacidades promissoras de generalização com dados limitados no domínio, sua dependência de cabeças de ação compactas para prever ações discretizadas ou contínuas restringe a adaptabilidade a espaços de ação heterogêneos. Apresentamos Dita, uma estrutura escalável que aproveita arquiteturas Transformer para desnaturar diretamente sequências de ações contínuas por meio de um processo unificado de difusão multimodal. Diferentemente de métodos anteriores que condicionam a desnaturação em embeddings fundidos por meio de redes rasas, Dita emprega condicionamento em contexto — permitindo um alinhamento refinado entre ações desnaturadas e tokens visuais brutos de observações históricas. Esse projeto modela explicitamente deltas de ação e nuances ambientais. Ao escalar o desnaturador de ação de difusão juntamente com a escalabilidade do Transformer, Dita integra efetivamente conjuntos de dados de múltiplas embodiências em diversas perspectivas de câmera, cenas de observação, tarefas e espaços de ação. Essa sinergia aumenta a robustez contra várias variâncias e facilita a execução bem-sucedida de tarefas de longo horizonte. Avaliações em benchmarks extensivos demonstram desempenho de ponta ou comparável em simulação. Notavelmente, Dita alcança uma adaptação robusta no mundo real a variâncias ambientais e tarefas complexas de longo horizonte por meio de ajuste fino com 10 exemplos, utilizando apenas entradas de câmera em terceira pessoa. A arquitetura estabelece uma linha de base versátil, leve e de código aberto para o aprendizado de políticas robóticas generalistas. Página do Projeto: https://robodita.github.io.

English

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning -- enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer's scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io.