Amostragem em Tempo de Teste sem Verificador para Modelos de Visão, Linguagem e Ação

Verifier-free Test-Time Sampling for Vision Language Action Models

October 7, 2025

Autores: Suhyeok Jang, Dongyoung Kim, Changyeon Kim, Youngsuk Kim, Jinwoo Shin

cs.AI

Resumo

Os modelos Visão-Linguagem-Ação (VLAs) têm demonstrado desempenho notável no controle de robôs. No entanto, eles permanecem fundamentalmente limitados em tarefas que exigem alta precisão devido ao seu paradigma de inferência única. Embora abordagens de escalonamento em tempo de teste usando verificadores externos tenham mostrado potencial, elas exigem treinamento adicional e falham em generalizar para condições não vistas. Propomos o Masking Distribution Guided Selection (MG-Select), uma nova estrutura de escalonamento em tempo de teste para VLAs que aproveita as propriedades internas do modelo sem exigir treinamento adicional ou módulos externos. Nossa abordagem utiliza a divergência KL de uma distribuição de tokens de ação de referência como métrica de confiança para selecionar a ação ótima entre múltiplos candidatos. Introduzimos uma distribuição de referência gerada pelo mesmo VLA, mas com estados e condições de linguagem mascarados aleatoriamente como entradas, garantindo máxima incerteza enquanto permanece alinhada com a distribuição da tarefa alvo. Além disso, propomos uma estratégia de treinamento conjunto que permite ao modelo aprender tanto distribuições condicionais quanto incondicionais, aplicando dropout às condições de estado e linguagem, melhorando assim ainda mais a qualidade da distribuição de referência. Nossos experimentos demonstram que o MG-Select alcança melhorias significativas de desempenho, incluindo um aumento de 28%/35% em tarefas do mundo real dentro/distribuição fora da distribuição, juntamente com um ganho relativo de 168% em tarefas de pegar e colocar do RoboCasa treinadas com 30 demonstrações.

English

Vision-Language-Action models (VLAs) have demonstrated remarkable performance in robot control. However, they remain fundamentally limited in tasks that require high precision due to their single-inference paradigm. While test-time scaling approaches using external verifiers have shown promise, they require additional training and fail to generalize to unseen conditions. We propose Masking Distribution Guided Selection (MG-Select), a novel test-time scaling framework for VLAs that leverages the model's internal properties without requiring additional training or external modules. Our approach utilizes KL divergence from a reference action token distribution as a confidence metric for selecting the optimal action from multiple candidates. We introduce a reference distribution generated by the same VLA but with randomly masked states and language conditions as inputs, ensuring maximum uncertainty while remaining aligned with the target task distribution. Additionally, we propose a joint training strategy that enables the model to learn both conditional and unconditional distributions by applying dropout to state and language conditions, thereby further improving the quality of the reference distribution. Our experiments demonstrate that MG-Select achieves significant performance improvements, including a 28%/35% improvement in real-world in-distribution/out-of-distribution tasks, along with a 168% relative gain on RoboCasa pick-and-place tasks trained with 30 demonstrations.