EmbodiedMidtrain: Preenchendo a Lacuna entre Modelos de Visão e Linguagem e Modelos de Visão, Linguagem e Ação por meio de Mid-training
EmbodiedMidtrain: Bridging the Gap between Vision-Language Models and Vision-Language-Action Models via Mid-training
April 21, 2026
Autores: Yiyang Du, Zhanqiu Guo, Xin Ye, Liu Ren, Chenyan Xiong
cs.AI
Resumo
Os Modelos Visão-Linguagem-Ação (VLAs) herdam suas capacidades visuais e linguísticas dos Modelos Visão-Linguagem (VLMs), porém a maioria dos VLAs é construída a partir de VLMs padrão não adaptados ao domínio corporificado, limitando seu desempenho em tarefas subsequentes. Neste trabalho, propomos o EmbodiedMidtrain para preencher a lacuna entre VLMs e VLAs. Primeiro, caracterizamos a diferença na distribuição de dados entre eles, demonstrando que os dados de VLA ocupam regiões compactas largamente separadas da distribuição mais ampla de VLM, enquanto o grau de alinhamento varia substancialmente entre e dentro das fontes de dados de VLM. Em seguida, construímos um mecanismo de dados para treinamento intermediário que utiliza um estimador de proximidade leve e adaptável para selecionar os candidatos mais alinhados com VLA de um grande conjunto de VLM, e submete o VLM a um treinamento intermediário nesta mistura curada antes do ajuste fino para VLA. Experimentos em três benchmarks de manipulação robótica mostram que o treinamento intermediário melhora consistentemente o desempenho em diferentes arquiteturas de VLM, alcançando resultados competitivos com VLAs especializados e VLMs padrão treinados com escala de modelo e orçamentos de treinamento maiores. Análises adicionais revelam que o treinamento intermediário fornece uma inicialização mais robusta para o ajuste fino de VLA, com ganhos emergindo desde os primeiros passos e ampliando-se ao longo do treinamento. Além disso, o mecanismo de dados captura sinais de alinhamento tanto em nível de conjunto de dados quanto em nível de amostra, privilegiando o raciocínio espacial em detrimento de tarefas centradas em texto, enquanto preserva a diversidade dos dados de VLM. Disponibilizaremos todo o código, dados e modelos para pesquisas futuras.
English
Vision-Language-Action Models (VLAs) inherit their visual and linguistic capabilities from Vision-Language Models (VLMs), yet most VLAs are built from off-the-shelf VLMs that are not adapted to the embodied domain, limiting their downstream performance. In this work, we propose EmbodiedMidtrain to bridge the gap between VLMs and VLAs. We first characterize the data distribution gap between them, showing that VLA data occupy compact regions that are largely separated from the broader VLM distribution, while the degree of alignment varies substantially both across and within VLM data sources. Then, we build a mid-training data engine that leverages a lightweight learnable proximity estimator to select the most VLA-aligned candidates from a large VLM pool, and mid-trains the VLM on this curated mixture before downstream VLA fine-tuning. Experiments on three robot manipulation benchmarks show that mid-training consistently improves performance across different VLM backbones, achieving results competitive with expert VLAs and off-the-shelf VLMs trained with larger model scale and training budgets. Further analysis reveals that mid-training provides a stronger initialization for VLA fine-tuning, with gains emerging from the earliest steps and widening throughout training. Moreover, the data engine captures both dataset-level and sample-level alignment signals, favoring spatial reasoning over text-centric tasks while preserving the diversity of the VLM data. We will release all code, data and models for future research.