Repensando a Representação de VLM para Inicialização de VLA

Resumo

Modelos Visão-Linguagem-Ação (VLA) adotam amplamente Modelos Visão-Linguagem (VLMs) pré-treinados como espinhas dorsais de políticas, mas ainda não está claro que tipo de representação VLM pré-treinada é útil como inicialização VLA. Neste artigo, estudamos a inicialização VLA como um problema controlado de design de representação ao longo de três eixos: supervisão de VQA incorporada em nível de capacidade, estratégia de atualização de parâmetros e pré-treinamento com dados robóticos. Nossos experimentos mostram que a representação VLM pré-treinada original é uma fonte chave de desempenho em ações. No entanto, a adaptação VQA incorporada não produz ganhos uniformes: seu benefício depende de gargalos downstream, e os ganhos de diferentes domínios de capacidade não são simplesmente aditivos. Para a estratégia de atualização, LoRA fornece uma inicialização mais confiável do que o Fine-Tuning Completo, indicando que remodelar excessivamente a representação pré-treinada pode enfraquecer a inicialização VLA. O pré-treinamento com dados robóticos melhora ainda mais a inicialização VLA, com a variante mais forte obtida por treinamento baseado em LoRA em estágios. Juntos, esses achados sugerem que a adaptação eficaz de VLM para VLA deve injetar sinais incorporados e de trajetória robótica relevantes para a ação, preservando ao mesmo tempo a representação VLM pré-treinada que permanece útil para o aprendizado de ações.

English

Vision-Language-Action (VLA) models widely adopt pretrained Vision-Language Models (VLMs) as policy backbones, yet it remains unclear what kind of pretrained VLM representation is useful as a VLA initialization. In this paper, we study VLA initialization as a controlled representation-design problem along three axes: capability-level embodied VQA supervision, parameter-update strategy, and robot-data pretraining. Our experiments show that the original pretrained VLM representation is a key source of action performance. However, embodied VQA adaptation does not yield uniform gains: its benefit depends on downstream bottlenecks, and gains from different capability domains are not simply additive. For update strategy, LoRA provides a more reliable initialization than Full Finetune, indicating that overly reshaping the pretrained representation can weaken VLA initialization. Robot-data pretraining further improves VLA initialization, with the strongest variant obtained by staged LoRA-based training. Together, these findings suggest that effective VLM-to-VLA adaptation should inject action-relevant embodied and robot-trajectory signals while preserving the pretrained VLM representation that remains useful for action learning.