Olhe Antes de Pular: Destilando Busca em Árvore em Avaliação de Ações para Modelos VLA Congelados

Resumo

Modelos Visão-Linguagem-Ação (VLA) adquirem amplas capacidades corporificadas por meio de pré-treinamento em larga escala, mas sua generalização permanece muito mais frágil do que a de LLMs e VLMs. O remédio predominante, o pós-treinamento via ajuste fino supervisionado ou aprendizado por reforço, melhora o desempenho em tarefas específicas, mas reduz a capacidade generalista que torna o pré-treinamento valioso. Identificamos um gargalo fundamental: as falhas dos VLAs decorrem não apenas da geração de ações, mas também da avaliação de ações. Um estudo diagnóstico de pass@k confirma que VLAs congelados já contêm comportamentos competentes em sua distribuição de saída, com taxas de sucesso geral subindo de 33% em pass@1 para 92% em pass@32. Inspirados por isso, propomos SVA (Search, Value, and Act – Buscar, Valor e Agir), uma estrutura simples que dota políticas VLA congeladas de consciência de consequências de longo prazo. O SVA primeiro utiliza busca em árvore Monte Carlo em simulação para explorar completamente a distribuição de saída do VLA e coletar trajetórias diversas anotadas com retornos empíricos; esse conhecimento é então destilado em um modelo de valor Q leve que prevê a consequência esperada de ações candidatas; na implantação, o VLA congelado propõe múltiplos candidatos e o avaliador seleciona aquele com o maior valor Q regularizado por incerteza, sem necessidade de acesso ao simulador. Ao desacoplar a proposição de ações da avaliação de consequências, o SVA preserva a capacidade de generalização da espinha dorsal VLA enquanto melhora substancialmente as taxas de sucesso das tarefas. Experimentos em benchmarks corporificados mostram que o SVA melhora consistentemente a generalização em tarefas não vistas e exibe forte comportamento de escalonamento em tempo de teste. Surpreendentemente, o SVA permite que um VLA de 9B supere um VLA de 27B por 7 pontos percentuais com 27% menos latência de inferência, sugerindo que escalonar a avaliação em tempo de teste é mais custo-efetivo do que escalonar o tamanho do modelo.

English

Vision-Language-Action (VLA) models acquire broad embodied capabilities through large-scale pretraining, yet their generalization remains far more fragile than that of LLMs and VLMs. The prevailing remedy, post-training via supervised fine-tuning or reinforcement learning, improves task-specific performance but narrows the generalist capability that makes pretraining valuable. We identify a key bottleneck: VLA failures stem not only from action generation but also from action evaluation. A diagnostic pass@k study confirms that frozen VLAs already contain competent behaviors in their output distribution, with overall success rates rising from 33% at pass@1 to 92% at pass@32. Inspired by this, we propose SVA (Search, Value, and Act), a simple framework that equips frozen VLA policies with long-term consequence awareness. SVA first uses Monte-Carlo tree search in simulation to fully explore the VLA's output distribution and collect diverse trajectories annotated with empirical returns; this knowledge is then distilled into a lightweight Q-value model that predicts the expected consequence of candidate actions; at deployment, the frozen VLA proposes multiple candidates and the evaluator selects the one with the highest uncertainty-regularized Q-value, requiring no simulator access. By decoupling action proposal from consequence evaluation, SVA preserves the generalization capacity of the VLA backbone while substantially improving task success rates. Experiments across embodied benchmarks show that SVA consistently improves generalization on unseen tasks and exhibits strong test-time scaling behavior. Strikingly, SVA enables a 9B VLA to outperform a 27B VLA by 7 points at 27% lower inference latency, suggesting that scaling test-time evaluation is more cost-effective than scaling model size.