Verifiziererfreie Testzeit-Stichprobenentnahme für Vision-Language-Action-Modelle

Verifier-free Test-Time Sampling for Vision Language Action Models

October 7, 2025

papers.authors: Suhyeok Jang, Dongyoung Kim, Changyeon Kim, Youngsuk Kim, Jinwoo Shin

cs.AI

papers.abstract

Vision-Language-Action-Modelle (VLAs) haben bemerkenswerte Leistungen in der Robotersteuerung gezeigt. Sie bleiben jedoch grundsätzlich bei Aufgaben, die hohe Präzision erfordern, aufgrund ihres Einzel-Inferenz-Paradigmas eingeschränkt. Während Testzeit-Skalierungsansätze unter Verwendung externer Verifizierer vielversprechend sind, erfordern sie zusätzliches Training und scheitern bei der Generalisierung auf unbekannte Bedingungen. Wir schlagen Masking Distribution Guided Selection (MG-Select) vor, ein neuartiges Testzeit-Skalierungsframework für VLAs, das die internen Eigenschaften des Modells nutzt, ohne zusätzliches Training oder externe Module zu benötigen. Unser Ansatz verwendet die KL-Divergenz von einer Referenz-Aktionstoken-Verteilung als Konfidenzmetrik, um die optimale Aktion aus mehreren Kandidaten auszuwählen. Wir führen eine Referenzverteilung ein, die vom gleichen VLA generiert wird, jedoch mit zufällig maskierten Zuständen und Sprachbedingungen als Eingaben, wodurch maximale Unsicherheit gewährleistet wird, während sie dennoch mit der Zielaufgabenverteilung übereinstimmt. Zusätzlich schlagen wir eine gemeinsame Trainingsstrategie vor, die es dem Modell ermöglicht, sowohl bedingte als auch unbedingte Verteilungen zu erlernen, indem Dropout auf Zustands- und Sprachbedingungen angewendet wird, wodurch die Qualität der Referenzverteilung weiter verbessert wird. Unsere Experimente zeigen, dass MG-Select signifikante Leistungsverbesserungen erzielt, einschließlich einer 28%/35%igen Verbesserung bei realen In-Distribution/Out-of-Distribution-Aufgaben sowie einem relativen Gewinn von 168% bei RoboCasa Pick-and-Place-Aufgaben, die mit 30 Demonstrationen trainiert wurden.

English

Vision-Language-Action models (VLAs) have demonstrated remarkable performance in robot control. However, they remain fundamentally limited in tasks that require high precision due to their single-inference paradigm. While test-time scaling approaches using external verifiers have shown promise, they require additional training and fail to generalize to unseen conditions. We propose Masking Distribution Guided Selection (MG-Select), a novel test-time scaling framework for VLAs that leverages the model's internal properties without requiring additional training or external modules. Our approach utilizes KL divergence from a reference action token distribution as a confidence metric for selecting the optimal action from multiple candidates. We introduce a reference distribution generated by the same VLA but with randomly masked states and language conditions as inputs, ensuring maximum uncertainty while remaining aligned with the target task distribution. Additionally, we propose a joint training strategy that enables the model to learn both conditional and unconditional distributions by applying dropout to state and language conditions, thereby further improving the quality of the reference distribution. Our experiments demonstrate that MG-Select achieves significant performance improvements, including a 28%/35% improvement in real-world in-distribution/out-of-distribution tasks, along with a 168% relative gain on RoboCasa pick-and-place tasks trained with 30 demonstrations.