OpenVision 2: Uma Família de Codificadores Visuais Pré-treinados Generativos para Aprendizado Multimodal

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning

September 1, 2025

Autores: Yanqing Liu, Xianhang Li, Letian Zhang, Zirui Wang, Zeyu Zheng, Yuyin Zhou, Cihang Xie

cs.AI

Resumo

Este artigo apresenta uma simplificação na arquitetura e no design de perda do OpenVision para melhorar sua eficiência de treinamento. Seguindo os trabalhos anteriores de pré-treinamento visão-linguagem CapPa e AIMv2, bem como designs multimodais modernos como o LLaVA, nossas alterações são diretas: removemos o codificador de texto (e, portanto, a perda contrastiva), mantendo apenas a perda de legendagem como um sinal de treinamento puramente generativo. Nomeamos esta nova versão como OpenVision 2. Os resultados iniciais são promissores: apesar dessa simplificação, o OpenVision 2 compete de forma equivalente ao desempenho do modelo original em um amplo conjunto de benchmarks multimodais, enquanto reduz substancialmente tanto o tempo de treinamento quanto o consumo de memória. Por exemplo, com o ViT-L/14, ele reduz o tempo de treinamento em cerca de 1,5x (de 83h para 57h) e o uso de memória em cerca de 1,8x (de 24,5GB para 13,8GB, permitindo que o tamanho máximo do lote aumente de 2k para 8k). Essa eficiência superior de treinamento também nos permite escalar muito além do maior codificador visual usado no OpenVision, atingindo mais de 1 bilhão de parâmetros. Acreditamos firmemente que esse paradigma leve e exclusivamente generativo é atraente para o desenvolvimento futuro de codificadores visuais em modelos de fundação multimodais.

English

This paper provides a simplification on OpenVision's architecture and loss design for enhancing its training efficiency. Following the prior vision-language pretraining works CapPa and AIMv2, as well as modern multimodal designs like LLaVA, our changes are straightforward: we remove the text encoder (and therefore the contrastive loss), retaining only the captioning loss as a purely generative training signal. We name this new version OpenVision 2. The initial results are promising: despite this simplification, OpenVision 2 competitively matches the original model's performance on a broad set of multimodal benchmarks while substantially cutting both training time and memory consumption. For example, with ViT-L/14, it reduces training time by about 1.5x (from 83h to 57h), and memory usage by about 1.8x (from 24.5GB to 13.8GB, equivalently allowing the maximum batch size to grow from 2k to 8k). This superior training efficiency also allows us to scale far beyond the largest vision encoder used in OpenVision, reaching more than 1 billion parameters. We hold a strong belief that this lightweight, generative-only paradigm is compelling for future vision encoder development in multimodal foundation models.