InternVLA-A1.5: Vereinheitlichung von Verstehen, latenter Vorausschau und Handlung für kompositionelle Generalisierung

Zusammenfassung

Einheitliche Modelle für die Robotermanipulation zielen darauf ab, einem Policy sowohl die semantischen Vorwissen vortrainierter VLMs als auch die durch Zukunftsprädiktion erlernte physikalische Dynamik zu verleihen. In der Praxis neigen bestehende Ansätze dazu, die Semantik des vortrainierten Backbones zu beeinträchtigen, unter Interferenz zwischen heterogenen Zielen zu leiden und die Zukunftsprädiktion von Grund auf im Pixelraum zu erlernen, wodurch die Dynamikvorwissen vortrainierter Videogeneratoren ungenutzt bleiben. Wir präsentieren InternVLA-A1.5, das den Policy auf einem nativen VLM-Backbone aufbaut, der kontinuierlich auf VQA und Unteraufgabenprädiktion trainiert wird, und einen leichten, vereinheitlichten Experten für die kontinuierliche Aktionsgenerierung anfügt. Die Zukunftsprädiktion wird als ein Problem der latenten Abfrage neu formuliert, bei dem eine kleine Menge lernbarer Vorhersage-Tokens die aufgabenrelevante Zukunft unter der Aufsicht eines eingefrorenen, vortrainierten Videogenerierungsmodells in einen kompakten latenten Code kondensiert, sodass der Policy die Weltmodell-Dynamikvorwissen erbt, ohne jemals Pixelebene-Generierung zu lernen. Der Videozweig wird bei der Inferenz verworfen, um eine Echtzeitsteuerung zu gewährleisten. Vortrainiert auf 1,2 Mio. Roboterepisoden und 3 Mio. multimodalen Stichproben erzielt InternVLA-A1.5 die besten Gesamtergebnisse in allen sechs Simulationsbenchmarks. In der realen Welt liefert die erhaltene Semantik die stärkste kompositionelle Generalisierung bei ausgelagerten Instruktionsbindungen, und die beiden Konzepte zusammen ermöglichen eine langfristige Ausführung.

English

Unified models for robot manipulation aim to equip one policy with both the semantic priors of pretrained VLMs and the physical dynamics learned through future prediction. In practice, existing designs tend to erode the semantics of the pretrained backbone, suffer interference among heterogeneous objectives, and learn future prediction from scratch in pixel space, leaving the dynamics priors of pretrained video generators unexploited. We present InternVLA-A1.5, which builds the policy on a native VLM backbone that keeps training on VQA and subtask prediction, and attaches a lightweight unified expert for continuous action generation. Future prediction is recast as a latent-querying problem, where a small set of learnable foresight tokens condenses the task-relevant future into a compact latent code under the supervision of a frozen pretrained video generation model, so the policy inherits world-model dynamics priors without ever learning pixel-level generation. The video branch is discarded at inference, keeping real-time control. Pretrained on 1.2M robot episodes and 3M multimodal samples, InternVLA-A1.5 achieves the best overall results on all six simulation benchmarks. In the real world, the preserved semantics deliver the strongest compositional generalization on held-out instruction bindings, and the two designs together sustain long-horizon execution.