OpenVision 2: Een Familie van Generatieve Vooraf Getrainde Visuele Encoders voor Multimodaal Leren

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning

September 1, 2025

Auteurs: Yanqing Liu, Xianhang Li, Letian Zhang, Zirui Wang, Zeyu Zheng, Yuyin Zhou, Cihang Xie

cs.AI

Samenvatting

Dit artikel biedt een vereenvoudiging van de architectuur en het verliesontwerp van OpenVision om de trainings efficiëntie te verbeteren. In navolging van eerdere vision-language pretrainingswerken zoals CapPa en AIMv2, evenals moderne multimodale ontwerpen zoals LLaVA, zijn onze wijzigingen eenvoudig: we verwijderen de tekstencoder (en daarmee het contrastieve verlies), waarbij alleen het captioning-verlies behouden blijft als een puur generatief trainingssignaal. We noemen deze nieuwe versie OpenVision 2. De eerste resultaten zijn veelbelovend: ondanks deze vereenvoudiging, presteert OpenVision 2 competitief ten opzichte van het oorspronkelijke model op een breed scala aan multimodale benchmarks, terwijl het zowel de trainingsduur als het geheugengebruik aanzienlijk vermindert. Bijvoorbeeld, met ViT-L/14 wordt de trainingsduur met ongeveer 1,5x verminderd (van 83 uur naar 57 uur), en het geheugengebruik met ongeveer 1,8x (van 24,5GB naar 13,8GB, wat het mogelijk maakt om de maximale batchgrootte te vergroten van 2k naar 8k). Deze superieure trainings efficiëntie stelt ons ook in staat om ver voorbij de grootste vision-encoder die in OpenVision wordt gebruikt te schalen, waarbij we meer dan 1 miljard parameters bereiken. We zijn sterk overtuigd dat dit lichtgewicht, puur generatieve paradigma overtuigend is voor de toekomstige ontwikkeling van vision-encoders in multimodale foundation-modellen.

English

This paper provides a simplification on OpenVision's architecture and loss design for enhancing its training efficiency. Following the prior vision-language pretraining works CapPa and AIMv2, as well as modern multimodal designs like LLaVA, our changes are straightforward: we remove the text encoder (and therefore the contrastive loss), retaining only the captioning loss as a purely generative training signal. We name this new version OpenVision 2. The initial results are promising: despite this simplification, OpenVision 2 competitively matches the original model's performance on a broad set of multimodal benchmarks while substantially cutting both training time and memory consumption. For example, with ViT-L/14, it reduces training time by about 1.5x (from 83h to 57h), and memory usage by about 1.8x (from 24.5GB to 13.8GB, equivalently allowing the maximum batch size to grow from 2k to 8k). This superior training efficiency also allows us to scale far beyond the largest vision encoder used in OpenVision, reaching more than 1 billion parameters. We hold a strong belief that this lightweight, generative-only paradigm is compelling for future vision encoder development in multimodal foundation models.