뛰기 전에 살펴보라: 고정된 VLA 모델을 위한 트리 탐색의 행동 평가로의 증류

초록

비전-언어-행동(VLA) 모델은 대규모 사전 학습을 통해 광범위한 체화된 능력을 획득하지만, 그 일반화 성능은 LLM 및 VLM에 비해 훨씬 취약하다. 현재의 주된 해결책은 지도 미세 조정이나 강화 학습을 통한 사후 학습(post-training)으로, 이는 특정 작업 성능을 향상시키지만 사전 학습의 가치를 만드는 일반화 능력을 좁힌다. 우리는 핵심 병목 현상을 식별한다: VLA의 실패는 행동 생성(action generation)뿐만 아니라 행동 평가(action evaluation)에서도 비롯된다. 진단적 pass@k 연구는 고정된 VLA가 이미 출력 분포 내에서 유능한 행동을 포함하고 있음을 확인하며, 전체 성공률이 pass@1에서 33%에서 pass@32에서 92%로 상승한다. 이에 영감을 받아, 우리는 SVA(Search, Value, Act)라는 간단한 프레임워크를 제안한다. 이는 고정된 VLA 정책에 장기적 결과 인식 능력을 부여한다. SVA는 먼저 시뮬레이션에서 몬테카를로 트리 탐색을 사용하여 VLA의 출력 분포를 완전히 탐색하고, 경험적 수익(empirical return)으로 주석이 달린 다양한 궤적을 수집한다. 이 지식은 이후 경량 Q-값 모델로 증류되어 후보 행동의 예상 결과를 예측한다. 배포 시에는 고정된 VLA가 여러 후보를 제안하고, 평가자가 불확실성 정규화된 Q-값이 가장 높은 것을 선택하며, 시뮬레이터 접근이 필요하지 않다. 행동 제안과 결과 평가를 분리함으로써 SVA는 VLA 백본의 일반화 능력을 보존하면서 작업 성공률을 크게 향상시킨다. 체화된 벤치마크 전반에 걸친 실험은 SVA가 보지 못한 작업에 대한 일반화를 지속적으로 개선하고, 강력한 테스트 시간 스케일링(test-time scaling) 동작을 보여준다. 놀랍게도, SVA는 9B VLA가 27B VLA보다 7포인트 더 높은 성능을 27% 낮은 추론 지연 시간으로 달성할 수 있게 하며, 이는 모델 크기를 확장하는 것보다 테스트 시간 평가를 확장하는 것이 더 비용 효율적임을 시사한다.

English

Vision-Language-Action (VLA) models acquire broad embodied capabilities through large-scale pretraining, yet their generalization remains far more fragile than that of LLMs and VLMs. The prevailing remedy, post-training via supervised fine-tuning or reinforcement learning, improves task-specific performance but narrows the generalist capability that makes pretraining valuable. We identify a key bottleneck: VLA failures stem not only from action generation but also from action evaluation. A diagnostic pass@k study confirms that frozen VLAs already contain competent behaviors in their output distribution, with overall success rates rising from 33% at pass@1 to 92% at pass@32. Inspired by this, we propose SVA (Search, Value, and Act), a simple framework that equips frozen VLA policies with long-term consequence awareness. SVA first uses Monte-Carlo tree search in simulation to fully explore the VLA's output distribution and collect diverse trajectories annotated with empirical returns; this knowledge is then distilled into a lightweight Q-value model that predicts the expected consequence of candidate actions; at deployment, the frozen VLA proposes multiple candidates and the evaluator selects the one with the highest uncertainty-regularized Q-value, requiring no simulator access. By decoupling action proposal from consequence evaluation, SVA preserves the generalization capacity of the VLA backbone while substantially improving task success rates. Experiments across embodied benchmarks show that SVA consistently improves generalization on unseen tasks and exhibits strong test-time scaling behavior. Strikingly, SVA enables a 9B VLA to outperform a 27B VLA by 7 points at 27% lower inference latency, suggesting that scaling test-time evaluation is more cost-effective than scaling model size.