OpenVision 2 : Une famille d'encodeurs visuels génératifs pré-entraînés pour l'apprentissage multimodal

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning

September 1, 2025

papers.authors: Yanqing Liu, Xianhang Li, Letian Zhang, Zirui Wang, Zeyu Zheng, Yuyin Zhou, Cihang Xie

cs.AI

papers.abstract

Cet article propose une simplification de l'architecture et de la conception de la fonction de perte d'OpenVision afin d'améliorer son efficacité d'entraînement. S'inspirant des travaux antérieurs de pré-entraînement vision-langage CapPa et AIMv2, ainsi que des conceptions multimodales modernes comme LLaVA, nos modifications sont directes : nous supprimons l'encodeur de texte (et par conséquent la perte contrastive), ne conservant que la perte de génération de légendes comme signal d'entraînement purement génératif. Nous nommons cette nouvelle version OpenVision 2. Les résultats initiaux sont prometteurs : malgré cette simplification, OpenVision 2 rivalise avec les performances du modèle original sur un large ensemble de benchmarks multimodaux tout en réduisant considérablement le temps d'entraînement et la consommation de mémoire. Par exemple, avec ViT-L/14, il réduit le temps d'entraînement d'environ 1,5 fois (de 83h à 57h) et l'utilisation de mémoire d'environ 1,8 fois (de 24,5 Go à 13,8 Go, permettant ainsi d'augmenter la taille maximale des lots de 2k à 8k). Cette efficacité d'entraînement supérieure nous permet également de dépasser largement le plus grand encodeur visuel utilisé dans OpenVision, atteignant plus d'un milliard de paramètres. Nous sommes convaincus que ce paradigme léger et purement génératif est particulièrement prometteur pour le développement futur d'encodeurs visuels dans les modèles de fondation multimodaux.

English

This paper provides a simplification on OpenVision's architecture and loss design for enhancing its training efficiency. Following the prior vision-language pretraining works CapPa and AIMv2, as well as modern multimodal designs like LLaVA, our changes are straightforward: we remove the text encoder (and therefore the contrastive loss), retaining only the captioning loss as a purely generative training signal. We name this new version OpenVision 2. The initial results are promising: despite this simplification, OpenVision 2 competitively matches the original model's performance on a broad set of multimodal benchmarks while substantially cutting both training time and memory consumption. For example, with ViT-L/14, it reduces training time by about 1.5x (from 83h to 57h), and memory usage by about 1.8x (from 24.5GB to 13.8GB, equivalently allowing the maximum batch size to grow from 2k to 8k). This superior training efficiency also allows us to scale far beyond the largest vision encoder used in OpenVision, reaching more than 1 billion parameters. We hold a strong belief that this lightweight, generative-only paradigm is compelling for future vision encoder development in multimodal foundation models.