EmbodiedMidtrain: Colmare il Divario tra Modelli Visione-Linguaggio e Modelli Visione-Linguaggio-Azione tramite Mid-training
EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training
April 21, 2026
Autori: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong
cs.AI
Abstract
I modelli Vision-Language-Action (VLA) ereditano le loro capacità visive e linguistiche dai modelli Vision-Language (VLM), eppure la maggior parte dei VLA è costruita a partire da VLM standard non adattati al dominio embodied, limitandone le prestazioni downstream. In questo lavoro, proponiamo EmbodiedMidtrain per colmare il divario tra VLM e VLA. Iniziamo caratterizzando il divario nella distribuzione dei dati tra di essi, mostrando che i dati VLA occupano regioni compatte largamente separate dalla più ampia distribuzione VLM, mentre il grado di allineamento varia sostanzialmente sia tra le diverse fonti di dati VLM che al loro interno. Successivamente, costruiamo un motore di dati per il mid-training che sfrutta un stimatore di prossimità leggero e addestrabile per selezionare i candidati più allineati ai VLA da un ampio pool VLM, e addestriamo il VLM su questa miscela curata prima del fine-tuning downstream per i VLA. Esperimenti su tre benchmark per la manipolazione robotica mostrano che il mid-training migliora costantemente le prestazioni su diverse architetture VLM di base, ottenendo risultati competitivi con VLA specializzati e VLM standard addestrati con scala modellistica e budget di addestramento maggiori. Un'analisi più approfondita rivela che il mid-training fornisce un'inizializzazione più solida per il fine-tuning VLA, con guadagni che emergono dai primi step e si ampliano durante l'addestramento. Inoltre, il motore di dati cattura sia segnali di allineamento a livello di dataset che a livello di campione, favorendo il ragionamento spaziale rispetto a task centrati sul testo, preservando al contempo la diversità dei dati VLM. Rilasceremo tutto il codice, i dati e i modelli per future ricerche.
English
Vision-Language-Action Models (VLAs) inherit their visual and linguistic capabilities from Vision-Language Models (VLMs), yet most VLAs are built from off-the-shelf VLMs that are not adapted to the embodied domain, limiting their downstream performance. In this work, we propose EmbodiedMidtrain to bridge the gap between VLMs and VLAs. We first characterize the data distribution gap between them, showing that VLA data occupy compact regions that are largely separated from the broader VLM distribution, while the degree of alignment varies substantially both across and within VLM data sources. Then, we build a mid-training data engine that leverages a lightweight learnable proximity estimator to select the most VLA-aligned candidates from a large VLM pool, and mid-trains the VLM on this curated mixture before downstream VLA fine-tuning. Experiments on three robot manipulation benchmarks show that mid-training consistently improves performance across different VLM backbones, achieving results competitive with expert VLAs and off-the-shelf VLMs trained with larger model scale and training budgets. Further analysis reveals that mid-training provides a stronger initialization for VLA fine-tuning, with gains emerging from the earliest steps and widening throughout training. Moreover, the data engine captures both dataset-level and sample-level alignment signals, favoring spatial reasoning over text-centric tasks while preserving the diversity of the VLM data. We will release all code, data and models for future research.