Será que o VLA Conhece o Básico? Medindo a Retenção de Senso Comum e Conhecimento de Mundo em Modelos Visão-Linguagem-Ação

Resumo

Modelos Visão-Linguagem-Ação (VLA) incorporados são normalmente obtidos por meio do ajuste fino de VLMs poderosos pré-treinados em dados de robótica, mas não está claro quanto conhecimento de senso comum e factual eles retêm após a adaptação. Falhas em tarefas sensíveis ao conhecimento são ambíguas, confundindo conhecimento ausente com generalização deficiente do controle de baixo nível. Apresentamos o Act2Answer, um protocolo leve que adapta benchmarks de conhecimento de VLM para avaliação de VLA, exigindo que os agentes respondam por meio da ação. Cada pergunta se torna um breve episódio de mesa onde o agente realiza uma única ação de posicionamento de objeto para selecionar entre respostas candidatas, resultando em uma taxa de sucesso fundamentada na ação com fatores de confusão de controle reduzidos. Curamos um conjunto de teste desses ambientes em diversas categorias de senso comum e conhecimento de mundo e introduzimos a sondagem de intenção por camada para localizar informações relevantes para a resposta no backbone do VLM e na cabeça de ação. Em um estudo em larga escala com 7 modelos VLA e 9 baselines VLM, classificamos sistematicamente os modelos entre categorias, descobrindo que os VLAs apresentam desempenho sólido em conceitos simples, mas exibem lacunas maiores em categorias semânticas mais ricas em relação aos seus VLMs de origem, que o co-treinamento VQA está associado a uma melhor retenção de conhecimento e que os sinais relevantes para a resposta atingem o pico nas camadas médias dos VLAs, mas atenuam nas camadas superiores. O Act2Answer está disponível em https://tttonyalpha.github.io/act2answer/.

English

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.