Erst wägen, dann wagen: Destillation von Baumsuche in Aktionsbewertung für eingefrorene VLA-Modelle

Zusammenfassung

Visuell-Sprach-Aktionsmodelle (VLA) erwerben durch umfangreiches Vortraining breite verkörperte Fähigkeiten, dennoch bleibt ihre Generalisierung weitaus fragiler als die von LLMs und VLMs. Der gängige Ansatz des Nachtrainings durch überwachtes Feintuning oder bestärkendes Lernen verbessert zwar die aufgabenspezifische Leistung, schränkt jedoch die generalistische Fähigkeit ein, die das Vortraining wertvoll macht. Wir identifizieren einen zentralen Engpass: VLA-Fehler resultieren nicht nur aus der Aktionsgenerierung, sondern auch aus der Aktionsbewertung. Eine diagnostische pass@k-Studie bestätigt, dass eingefrorene VLAs bereits kompetente Verhaltensweisen in ihrer Ausgabeverteilung enthalten – die Gesamterfolgsrate steigt von 33 % bei pass@1 auf 92 % bei pass@32. Inspiriert davon schlagen wir SVA (Search, Value, and Act) vor, ein einfaches Rahmenwerk, das eingefrorene VLA-Richtlinien mit einem Bewusstsein für langfristige Konsequenzen ausstattet. SVA nutzt zunächst eine Monte-Carlo-Baumsuche in der Simulation, um die Ausgabeverteilung des VLA vollständig zu erkunden und diverse Trajektorien mit empirischen Renditen zu annotieren; dieses Wissen wird dann in ein leichtgewichtiges Q-Wert-Modell destilliert, das die erwarteten Konsequenzen von Kandidatenaktionen vorhersagt; bei der Bereitstellung schlägt das eingefrorene VLA mehrere Kandidaten vor, und der Evaluator wählt den mit dem höchsten unsicherheitsregulierten Q-Wert aus, ohne dass ein Simulatorzugriff erforderlich ist. Durch die Entkopplung von Aktionsvorschlag und Konsequenzenbewertung bewahrt SVA die Generalisierungsfähigkeit des VLA-Rückgrats und verbessert gleichzeitig die Aufgabenerfolgsraten erheblich. Experimente mit verkörperten Benchmarks zeigen, dass SVA die Generalisierung auf unbekannte Aufgaben konsequent verbessert und ein starkes Testzeit-Skalierungsverhalten aufweist. Auffälligerweise ermöglicht SVA einem 9B-VLA, ein 27B-VLA um 7 Punkte bei 27 % geringerer Inferenzlatenz zu übertreffen, was darauf hindeutet, dass die Skalierung der Testzeitbewertung kosteneffizienter ist als die Skalierung der Modellgröße.

English

Vision-Language-Action (VLA) models acquire broad embodied capabilities through large-scale pretraining, yet their generalization remains far more fragile than that of LLMs and VLMs. The prevailing remedy, post-training via supervised fine-tuning or reinforcement learning, improves task-specific performance but narrows the generalist capability that makes pretraining valuable. We identify a key bottleneck: VLA failures stem not only from action generation but also from action evaluation. A diagnostic pass@k study confirms that frozen VLAs already contain competent behaviors in their output distribution, with overall success rates rising from 33% at pass@1 to 92% at pass@32. Inspired by this, we propose SVA (Search, Value, and Act), a simple framework that equips frozen VLA policies with long-term consequence awareness. SVA first uses Monte-Carlo tree search in simulation to fully explore the VLA's output distribution and collect diverse trajectories annotated with empirical returns; this knowledge is then distilled into a lightweight Q-value model that predicts the expected consequence of candidate actions; at deployment, the frozen VLA proposes multiple candidates and the evaluator selects the one with the highest uncertainty-regularized Q-value, requiring no simulator access. By decoupling action proposal from consequence evaluation, SVA preserves the generalization capacity of the VLA backbone while substantially improving task success rates. Experiments across embodied benchmarks show that SVA consistently improves generalization on unseen tasks and exhibits strong test-time scaling behavior. Strikingly, SVA enables a 9B VLA to outperform a 27B VLA by 7 points at 27% lower inference latency, suggesting that scaling test-time evaluation is more cost-effective than scaling model size.