Беспроверочное тестирование во время выполнения для моделей "Видение-Язык-Действие"

Verifier-free Test-Time Sampling for Vision Language Action Models

October 7, 2025

Авторы: Suhyeok Jang, Dongyoung Kim, Changyeon Kim, Youngsuk Kim, Jinwoo Shin

cs.AI

Аннотация

Модели Vision-Language-Action (VLA) продемонстрировали выдающиеся результаты в управлении роботами. Однако они остаются принципиально ограниченными в задачах, требующих высокой точности, из-за своей парадигмы единичного вывода. Хотя подходы масштабирования во время тестирования с использованием внешних верификаторов показали перспективность, они требуют дополнительного обучения и не способны обобщать на неизвестные условия. Мы предлагаем Masking Distribution Guided Selection (MG-Select), новый фреймворк масштабирования во время тестирования для VLA, который использует внутренние свойства модели без необходимости дополнительного обучения или внешних модулей. Наш подход использует расхождение Кульбака-Лейблера (KL divergence) от эталонного распределения токенов действий как метрику уверенности для выбора оптимального действия из нескольких кандидатов. Мы вводим эталонное распределение, генерируемое той же VLA, но с случайно замаскированными состояниями и языковыми условиями в качестве входных данных, что обеспечивает максимальную неопределенность, оставаясь при этом согласованным с распределением целевой задачи. Кроме того, мы предлагаем стратегию совместного обучения, которая позволяет модели изучать как условные, так и безусловные распределения, применяя дропаут к состояниям и языковым условиям, что дополнительно улучшает качество эталонного распределения. Наши эксперименты показывают, что MG-Select достигает значительного улучшения производительности, включая 28%/35% улучшение в реальных задачах в распределении/вне распределения, а также 168% относительного прироста в задачах pick-and-place на RoboCasa, обученных с 30 демонстрациями.

English

Vision-Language-Action models (VLAs) have demonstrated remarkable performance in robot control. However, they remain fundamentally limited in tasks that require high precision due to their single-inference paradigm. While test-time scaling approaches using external verifiers have shown promise, they require additional training and fail to generalize to unseen conditions. We propose Masking Distribution Guided Selection (MG-Select), a novel test-time scaling framework for VLAs that leverages the model's internal properties without requiring additional training or external modules. Our approach utilizes KL divergence from a reference action token distribution as a confidence metric for selecting the optimal action from multiple candidates. We introduce a reference distribution generated by the same VLA but with randomly masked states and language conditions as inputs, ensuring maximum uncertainty while remaining aligned with the target task distribution. Additionally, we propose a joint training strategy that enables the model to learn both conditional and unconditional distributions by applying dropout to state and language conditions, thereby further improving the quality of the reference distribution. Our experiments demonstrate that MG-Select achieves significant performance improvements, including a 28%/35% improvement in real-world in-distribution/out-of-distribution tasks, along with a 168% relative gain on RoboCasa pick-and-place tasks trained with 30 demonstrations.