Campionamento in fase di test senza verificatore per modelli visione-linguaggio-azione

Verifier-free Test-Time Sampling for Vision Language Action Models

October 7, 2025

Autori: Suhyeok Jang, Dongyoung Kim, Changyeon Kim, Youngsuk Kim, Jinwoo Shin

cs.AI

Abstract

I modelli Vision-Language-Action (VLA) hanno dimostrato prestazioni notevoli nel controllo dei robot. Tuttavia, rimangono fondamentalmente limitati in compiti che richiedono alta precisione a causa del loro paradigma di inferenza singola. Sebbene approcci di scalatura al momento del test che utilizzano verificatori esterni abbiano mostrato potenziale, richiedono un addestramento aggiuntivo e non riescono a generalizzare a condizioni non viste. Proponiamo Masking Distribution Guided Selection (MG-Select), un nuovo framework di scalatura al momento del test per i VLA che sfrutta le proprietà interne del modello senza richiedere addestramento aggiuntivo o moduli esterni. Il nostro approccio utilizza la divergenza KL da una distribuzione di riferimento dei token di azione come metrica di confidenza per selezionare l'azione ottimale tra più candidati. Introduciamo una distribuzione di riferimento generata dallo stesso VLA ma con stati e condizioni linguistiche mascherati casualmente come input, garantendo la massima incertezza pur rimanendo allineata con la distribuzione del compito target. Inoltre, proponiamo una strategia di addestramento congiunto che consente al modello di apprendere sia distribuzioni condizionali che incondizionate applicando il dropout alle condizioni di stato e linguistiche, migliorando ulteriormente la qualità della distribuzione di riferimento. I nostri esperimenti dimostrano che MG-Select ottiene miglioramenti significativi delle prestazioni, inclusi un miglioramento del 28%/35% nei compiti in-distribuzione/out-of-distribuzione del mondo reale, insieme a un guadagno relativo del 168% nei compiti di pick-and-place di RoboCasa addestrati con 30 dimostrazioni.

English

Vision-Language-Action models (VLAs) have demonstrated remarkable performance in robot control. However, they remain fundamentally limited in tasks that require high precision due to their single-inference paradigm. While test-time scaling approaches using external verifiers have shown promise, they require additional training and fail to generalize to unseen conditions. We propose Masking Distribution Guided Selection (MG-Select), a novel test-time scaling framework for VLAs that leverages the model's internal properties without requiring additional training or external modules. Our approach utilizes KL divergence from a reference action token distribution as a confidence metric for selecting the optimal action from multiple candidates. We introduce a reference distribution generated by the same VLA but with randomly masked states and language conditions as inputs, ensuring maximum uncertainty while remaining aligned with the target task distribution. Additionally, we propose a joint training strategy that enables the model to learn both conditional and unconditional distributions by applying dropout to state and language conditions, thereby further improving the quality of the reference distribution. Our experiments demonstrate that MG-Select achieves significant performance improvements, including a 28%/35% improvement in real-world in-distribution/out-of-distribution tasks, along with a 168% relative gain on RoboCasa pick-and-place tasks trained with 30 demonstrations.