Verificatievrije Testtijdsteekproef voor Visie-Taal-Actie Modellen

Samenvatting

Vision-Language-Action-modellen (VLA's) hebben opmerkelijke prestaties getoond in robotbesturing. Ze blijven echter fundamenteel beperkt in taken die hoge precisie vereisen vanwege hun single-inference-paradigma. Hoewel test-time-schaalbenaderingen met behulp van externe verifiers veelbelovend zijn gebleken, vereisen ze aanvullende training en slagen ze er niet in om te generaliseren naar onbekende omstandigheden. Wij stellen Masking Distribution Guided Selection (MG-Select) voor, een nieuw test-time-schaalraamwerk voor VLA's dat gebruikmaakt van de interne eigenschappen van het model zonder aanvullende training of externe modules. Onze aanpak gebruikt KL-divergentie van een referentie-actietokenverdeling als een betrouwbaarheidsmetriek voor het selecteren van de optimale actie uit meerdere kandidaten. We introduceren een referentieverdeling gegenereerd door hetzelfde VLA, maar met willekeurig gemaskeerde toestanden en taalcondities als invoer, waardoor maximale onzekerheid wordt gegarandeerd terwijl deze in lijn blijft met de doeltaakverdeling. Daarnaast stellen we een gezamenlijke trainingsstrategie voor die het model in staat stelt om zowel conditionele als unconditionele verdelingen te leren door dropout toe te passen op toestands- en taalcondities, waardoor de kwaliteit van de referentieverdeling verder wordt verbeterd. Onze experimenten tonen aan dat MG-Select aanzienlijke prestatieverbeteringen bereikt, waaronder een verbetering van 28%/35% in real-world taken binnen/ buiten de verdeling, samen met een relatieve winst van 168% op RoboCasa pick-and-place taken getraind met 30 demonstraties.

English

Vision-Language-Action models (VLAs) have demonstrated remarkable performance in robot control. However, they remain fundamentally limited in tasks that require high precision due to their single-inference paradigm. While test-time scaling approaches using external verifiers have shown promise, they require additional training and fail to generalize to unseen conditions. We propose Masking Distribution Guided Selection (MG-Select), a novel test-time scaling framework for VLAs that leverages the model's internal properties without requiring additional training or external modules. Our approach utilizes KL divergence from a reference action token distribution as a confidence metric for selecting the optimal action from multiple candidates. We introduce a reference distribution generated by the same VLA but with randomly masked states and language conditions as inputs, ensuring maximum uncertainty while remaining aligned with the target task distribution. Additionally, we propose a joint training strategy that enables the model to learn both conditional and unconditional distributions by applying dropout to state and language conditions, thereby further improving the quality of the reference distribution. Our experiments demonstrate that MG-Select achieves significant performance improvements, including a 28%/35% improvement in real-world in-distribution/out-of-distribution tasks, along with a 168% relative gain on RoboCasa pick-and-place tasks trained with 30 demonstrations.

Verificatievrije Testtijdsteekproef voor Visie-Taal-Actie Modellen

Verifier-free Test-Time Sampling for Vision Language Action Models

Samenvatting

Support