跳ぶ前に見よ：凍結VLAモデルのための行動評価への木探索の蒸留

要旨

視覚言語行動（VLA）モデルは大規模な事前学習を通じて広範な身体的能力を獲得するが、その汎化性能はLLMやVLMと比較してはるかに脆弱なままである。一般的な対策として、教師ありファインチューニングや強化学習による事後学習はタスク固有の性能を向上させるが、事前学習の価値を生み出す汎用的能力を狭めてしまう。我々は重要なボトルネックを特定する：VLAの失敗は行動生成だけでなく行動評価にも起因する。診断的pass@k研究により、凍結されたVLAがその出力分布にすでに有能な行動を含んでいることが確認され、全体の成功率はpass@1で33%からpass@32で92%に上昇する。この知見に着想を得て、我々はSVA（Search, Value, Act）を提案する。これは凍結されたVLAポリシーに長期的な結果認識を付与するシンプルなフレームワークである。SVAはまずシミュレーション内でモンテカルロ木探索を用いてVLAの出力分布を完全に探索し、経験的なリターンで注釈付けされた多様な軌跡を収集する。この知識は次に、候補行動の期待される結果を予測する軽量なQ値モデルに蒸留される。展開時には、凍結されたVLAが複数の候補を提案し、評価器が最も不確実性調整済みQ値の高いものを選択する。これにはシミュレータへのアクセスは不要である。行動提案と結果評価を分離することで、SVAはVLAバックボーンの汎化能力を維持しつつ、タスク成功率を大幅に向上させる。身体性ベンチマークを横断した実験により、SVAが未見のタスクに対する汎化性能を一貫して向上させ、強力なテスト時スケーリング動作を示すことが明らかになった。注目すべきことに、SVAは9BパラメータのVLAが27BパラメータのVLAを7ポイント上回り、推論レイテンシを27%低減することを可能にする。これはモデルサイズを拡大するよりもテスト時評価をスケーリングする方が費用対効果が高いことを示唆している。

English

Vision-Language-Action (VLA) models acquire broad embodied capabilities through large-scale pretraining, yet their generalization remains far more fragile than that of LLMs and VLMs. The prevailing remedy, post-training via supervised fine-tuning or reinforcement learning, improves task-specific performance but narrows the generalist capability that makes pretraining valuable. We identify a key bottleneck: VLA failures stem not only from action generation but also from action evaluation. A diagnostic pass@k study confirms that frozen VLAs already contain competent behaviors in their output distribution, with overall success rates rising from 33% at pass@1 to 92% at pass@32. Inspired by this, we propose SVA (Search, Value, and Act), a simple framework that equips frozen VLA policies with long-term consequence awareness. SVA first uses Monte-Carlo tree search in simulation to fully explore the VLA's output distribution and collect diverse trajectories annotated with empirical returns; this knowledge is then distilled into a lightweight Q-value model that predicts the expected consequence of candidate actions; at deployment, the frozen VLA proposes multiple candidates and the evaluator selects the one with the highest uncertainty-regularized Q-value, requiring no simulator access. By decoupling action proposal from consequence evaluation, SVA preserves the generalization capacity of the VLA backbone while substantially improving task success rates. Experiments across embodied benchmarks show that SVA consistently improves generalization on unseen tasks and exhibits strong test-time scaling behavior. Strikingly, SVA enables a 9B VLA to outperform a 27B VLA by 7 points at 27% lower inference latency, suggesting that scaling test-time evaluation is more cost-effective than scaling model size.