APT: Actie-Expert Pre-training verbetert instructiegeneralisatie van visie-taal-actie beleidsstrategieën

Samenvatting

Visie-Taal-Actie (VTA) modellen die voorgetrainde Visie-Taal Modellen (VTM's) koppelen aan continue actie-experts hebben sterke manipulatieprestaties behaald, maar de generalisatie naar taal-instructies buiten de verdeling (out-of-distribution, OOD) blijft slecht. Een bekende uitdaging is de structurele onbalans in VTA-data, waarbij taal veel minder divers is dan visuele en actie-inhoud, waardoor beleid geneigd is tot visuele shortcuts. Hoewel discrete-actie methoden dit verminderen door middel van visie-taal co-training, missen continue actie-experts dergelijke bescherming: ze starten vanuit willekeurige initialisatie en leren volledig van onevenwichtige data, wat leidt tot ruisende gradiënten die het VTM beschadigen en het onvermogen om de taalcapaciteit te benutten. Wij pakken dit aan vanuit een Bayesiaans perspectief door het beleid te factoriseren in een taal-agnostische Visie-Actie (VA) prior en een taal-geconditioneerde VTA waarschijnlijkheid, en stellen APT voor, een tweefasige trainingsmethode die de nadruk legt op Action expert PreTraining. In Fase 1 wordt de actie-expert voorgetraind als een VA prior op visie-actie paren van een bevroren VTM, waarbij de taalonbalans wordt omzeild. In Fase 2 worden taal-tokens geïnjecteerd via een gepoort fusiemechanisme dat VTM-kenmerken integreert terwijl de aangeleerde visuomotorische prior behouden blijft. APT is toepasbaar op gangbare VTA-architecturen, waaronder de π- en GR00T-stijl architecturen. Uitgebreide experimenten bevestigen dat APT consistente verbeteringen oplevert bij onbekende instructies en compositorische taken. Projectpagina: https://xukechun.github.io/papers/APT/

English

Vision-Language-Action (VLA) models that couple pretrained Vision-Language Models (VLMs) with continuous action experts have achieved strong manipulation performance, yet generalization to out-of-distribution (OOD) language instructions remains poor. A known challenge is the structural imbalance in VLA data, where language is far less diverse than visual and action content, making policies prone to visual shortcuts. While discrete-action methods mitigate this through vision-language co-training, continuous action experts lack such protection: they start from random initialization and learn entirely from imbalanced data, producing noisy gradients that corrupt the VLM and fail to exploit its language capability. We address this from a Bayesian perspective, factorizing the policy into a language-agnostic Vision-Action (VA) prior and a language-conditioned VLA likelihood, and propose APT, a two-stage training method emphasizing Action expert PreTraining. In Stage 1, the action expert is pretrained as a VA prior on vision-action pairs from a frozen VLM, bypassing the language imbalance. In Stage 2, language tokens are injected through a gated fusion mechanism that integrates VLM features while preserving the learned visuomotor prior. APT applies to mainstream VLA architectures, including the π and GR00T-style architectures. Comprehensive experiments validate that APT achieves consistent gains on unseen instructions and compositional tasks. Project Page: https://xukechun.github.io/papers/APT/