Dita: Schaalbaarheid van de Diffusion Transformer voor een Algemene Visie-Taal-Actie Policy

Dita: Scaling Diffusion Transformer for Generalist Vision-Language-Action Policy

March 25, 2025

Auteurs: Zhi Hou, Tianyi Zhang, Yuwen Xiong, Haonan Duan, Hengjun Pu, Ronglei Tong, Chengyang Zhao, Xizhou Zhu, Yu Qiao, Jifeng Dai, Yuntao Chen

cs.AI

Samenvatting

Hoewel recente visie-taal-actie-modellen die getraind zijn op diverse robotdatasets veelbelovende generalisatiecapaciteiten vertonen met beperkte in-domein data, beperkt hun afhankelijkheid van compacte actiekoppen om gediscretiseerde of continue acties te voorspellen de aanpasbaarheid aan heterogene actieruimten. Wij presenteren Dita, een schaalbaar raamwerk dat Transformer-architecturen benut om direct continue actiesequenties te denoizen via een uniform multimodaal diffusieproces. In tegenstelling tot eerdere methoden die denoising conditioneren op gefuseerde embeddings via ondiepe netwerken, maakt Dita gebruik van in-context conditionering – waardoor een fijnmazige afstemming mogelijk wordt tussen gedenoiste acties en ruwe visuele tokens uit historische observaties. Dit ontwerp modelleert expliciet actiedelta's en omgevingsnuances. Door de diffusie-actiedenoiser te schalen naast de schaalbaarheid van de Transformer, integreert Dita effectief cross-embodiment datasets over diverse cameraperspectieven, observatiescènes, taken en actieruimten. Deze synergie verhoogt de robuustheid tegen verschillende varianten en vergemakkelijkt de succesvolle uitvoering van langetermijntaken. Evaluaties over uitgebreide benchmarks tonen state-of-the-art of vergelijkbare prestaties in simulatie. Opmerkelijk is dat Dita robuuste aanpassing aan omgevingsvarianten en complexe langetermijntaken in de echte wereld bereikt door middel van 10-shot finetuning, waarbij alleen third-person camerainput wordt gebruikt. De architectuur stelt een veelzijdige, lichtgewicht en open-source baseline vast voor generalistische robotbeleidsleren. Projectpagina: https://robodita.github.io.

English

While recent vision-language-action models trained on diverse robot datasets exhibit promising generalization capabilities with limited in-domain data, their reliance on compact action heads to predict discretized or continuous actions constrains adaptability to heterogeneous action spaces. We present Dita, a scalable framework that leverages Transformer architectures to directly denoise continuous action sequences through a unified multimodal diffusion process. Departing from prior methods that condition denoising on fused embeddings via shallow networks, Dita employs in-context conditioning -- enabling fine-grained alignment between denoised actions and raw visual tokens from historical observations. This design explicitly models action deltas and environmental nuances. By scaling the diffusion action denoiser alongside the Transformer's scalability, Dita effectively integrates cross-embodiment datasets across diverse camera perspectives, observation scenes, tasks, and action spaces. Such synergy enhances robustness against various variances and facilitates the successful execution of long-horizon tasks. Evaluations across extensive benchmarks demonstrate state-of-the-art or comparative performance in simulation. Notably, Dita achieves robust real-world adaptation to environmental variances and complex long-horizon tasks through 10-shot finetuning, using only third-person camera inputs. The architecture establishes a versatile, lightweight and open-source baseline for generalist robot policy learning. Project Page: https://robodita.github.io.