Heroverweging van VLM-representatie voor VLA-initialisatie

Samenvatting

Vision-Language-Action (VLA)-modellen maken veelvuldig gebruik van vooraf getrainde Vision-Language-modellen (VLM's) als beleidsruggengraat, maar het blijft onduidelijk welk type vooraf getrainde VLM-representatie bruikbaar is als VLA-initialisatie. In dit artikel bestuderen we VLA-initialisatie als een gecontroleerd representatie-ontwerpprobleem langs drie assen: embodied VQA-supervisie op vaardigheidsniveau, parameter-updatestrategie en vooraf trainen op robotdata. Onze experimenten tonen aan dat de oorspronkelijke vooraf getrainde VLM-representatie een belangrijke bron is van actieprestaties. Echter, embodied VQA-adaptatie levert geen uniforme winst op: het voordeel hangt af van stroomafwaartse knelpunten, en winsten uit verschillende vaardigheidsdomeinen zijn niet simpelweg additief. Wat betreft updatestrategie biedt LoRA een betrouwbaardere initialisatie dan volledige fine-tuning, wat erop wijst dat het te sterk hervormen van de vooraf getrainde representatie de VLA-initialisatie kan verzwakken. Vooraf trainen op robotdata verbetert de VLA-initialisatie verder, waarbij de sterkste variant wordt verkregen door gefaseerde op LoRA gebaseerde training. Samen suggereren deze bevindingen dat effectieve VLM-naar-VLA-adaptatie actierelevante embodied en robottraject-signalen moet injecteren, terwijl de vooraf getrainde VLM-representatie behouden moet blijven die nuttig blijft voor actieleren.

English

Vision-Language-Action (VLA) models widely adopt pretrained Vision-Language Models (VLMs) as policy backbones, yet it remains unclear what kind of pretrained VLM representation is useful as a VLA initialization. In this paper, we study VLA initialization as a controlled representation-design problem along three axes: capability-level embodied VQA supervision, parameter-update strategy, and robot-data pretraining. Our experiments show that the original pretrained VLM representation is a key source of action performance. However, embodied VQA adaptation does not yield uniform gains: its benefit depends on downstream bottlenecks, and gains from different capability domains are not simply additive. For update strategy, LoRA provides a more reliable initialization than Full Finetune, indicating that overly reshaping the pretrained representation can weaken VLA initialization. Robot-data pretraining further improves VLA initialization, with the strongest variant obtained by staged LoRA-based training. Together, these findings suggest that effective VLM-to-VLA adaptation should inject action-relevant embodied and robot-trajectory signals while preserving the pretrained VLM representation that remains useful for action learning.