VLA가 기본조차 알고 있을까?: 비전-언어-행동 모델에서의 상식 및 세계 지식 유지 측정

초록

임베디드 비전-언어-행동(VLA) 모델은 일반적으로 강력한 사전 훈련된 VLM을 로봇 데이터에 미세 조정하여 얻어지지만, 적응 후 상식 및 사실적 지식을 얼마나 보유하는지는 불분명하다. 지식에 민감한 작업에서의 실패는 모호하여, 지식 부족과 저수준 제어의 일반화 부족이 혼재된다. 우리는 에이전트가 행동을 통해 답변하도록 요구함으로써 VLM 지식 벤치마크를 VLA 평가에 적용하는 경량 프로토콜인 Act2Answer를 소개한다. 각 질문은 에이전트가 후보 답변 중에서 선택하기 위해 단일 객체 배치 동작을 수행하는 짧은 탁상 에피소드가 되어, 제어 혼란을 줄인 행동 기반 성공률을 제공한다. 우리는 다양한 상식 및 세계 지식 범주에 걸쳐 이러한 환경의 테스트 스위트를 선별하고, VLM 백본과 행동 헤드 전반에 걸쳐 답변 관련 정보를 위치 파악하기 위한 계층별 의도 탐침을 도입한다. 7개의 VLA 모델과 9개의 VLM 기준 모델에 대한 대규모 연구에서, 우리는 범주별로 모델을 체계적으로 순위를 매겼으며, VLA가 단순한 개념에서는 견고한 성능을 보이지만 원천 VLM에 비해 더 풍부한 의미 범주에서는 더 큰 차이를 보이고, VQA 공동 훈련이 더 나은 지식 유지와 관련이 있으며, 답변 관련 신호가 중간 VLA 계층에서 최고조에 달하지만 상위 계층에서는 약화된다는 것을 발견했다. Act2Answer는 https://tttonyalpha.github.io/act2answer/에서 이용 가능하다.

English

Embodied Vision-Language-Action (VLA) models are typically obtained by fine-tuning powerful pretrained VLMs on robotics data, yet it is unclear how much commonsense and factual knowledge they retain after adaptation. Failures on knowledge-sensitive tasks are ambiguous, conflating missing knowledge with poor generalization of low-level control. We introduce Act2Answer, a lightweight protocol that adapts VLM knowledge benchmarks to VLA evaluation by requiring agents to answer through action. Each question becomes a short tabletop episode where the agent performs a single object-placement action to select among candidate answers, yielding an action-grounded success rate with reduced control confounds. We curate a test suite of such environments across diverse commonsense and world-knowledge categories and introduce layerwise intent probing to localize answer-relevant information across the VLM backbone and action head. In a large-scale study of 7 VLA models and 9 VLM baselines, we systematically rank models across categories, finding that VLAs show solid performance on simple concepts while exhibiting larger gaps on richer semantic categories relative to their source VLMs, that VQA co-training is associated with better knowledge retention, and that answer-relevant signals peak in middle VLA layers but attenuate in upper layers. Act2Answer is available at https://tttonyalpha.github.io/act2answer/.