OpenVision 2: Una familia de codificadores visuales generativos preentrenados para el aprendizaje multimodal

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning

September 1, 2025

Autores: Yanqing Liu, Xianhang Li, Letian Zhang, Zirui Wang, Zeyu Zheng, Yuyin Zhou, Cihang Xie

cs.AI

Resumen

Este artículo presenta una simplificación de la arquitectura y el diseño de pérdidas de OpenVision para mejorar su eficiencia en el entrenamiento. Siguiendo los trabajos previos de preentrenamiento visión-lenguaje CapPa y AIMv2, así como diseños multimodales modernos como LLaVA, nuestros cambios son directos: eliminamos el codificador de texto (y, por lo tanto, la pérdida contrastiva), manteniendo únicamente la pérdida de generación de subtítulos como señal de entrenamiento puramente generativa. Denominamos a esta nueva versión OpenVision 2. Los resultados iniciales son prometedores: a pesar de esta simplificación, OpenVision 2 iguala competitivamente el rendimiento del modelo original en un amplio conjunto de benchmarks multimodales, mientras reduce sustancialmente tanto el tiempo de entrenamiento como el consumo de memoria. Por ejemplo, con ViT-L/14, reduce el tiempo de entrenamiento en aproximadamente 1.5x (de 83h a 57h) y el uso de memoria en aproximadamente 1.8x (de 24.5GB a 13.8GB, lo que permite que el tamaño máximo del lote aumente de 2k a 8k). Esta eficiencia superior en el entrenamiento también nos permite escalar más allá del codificador visual más grande utilizado en OpenVision, alcanzando más de mil millones de parámetros. Creemos firmemente que este paradigma ligero y exclusivamente generativo es convincente para el desarrollo futuro de codificadores visuales en modelos fundacionales multimodales.

English

This paper provides a simplification on OpenVision's architecture and loss design for enhancing its training efficiency. Following the prior vision-language pretraining works CapPa and AIMv2, as well as modern multimodal designs like LLaVA, our changes are straightforward: we remove the text encoder (and therefore the contrastive loss), retaining only the captioning loss as a purely generative training signal. We name this new version OpenVision 2. The initial results are promising: despite this simplification, OpenVision 2 competitively matches the original model's performance on a broad set of multimodal benchmarks while substantially cutting both training time and memory consumption. For example, with ViT-L/14, it reduces training time by about 1.5x (from 83h to 57h), and memory usage by about 1.8x (from 24.5GB to 13.8GB, equivalently allowing the maximum batch size to grow from 2k to 8k). This superior training efficiency also allows us to scale far beyond the largest vision encoder used in OpenVision, reaching more than 1 billion parameters. We hold a strong belief that this lightweight, generative-only paradigm is compelling for future vision encoder development in multimodal foundation models.