OpenVision 2: Семейство генеративных предобученных визуальных кодировщиков для мультимодального обучения

OpenVision 2: A Family of Generative Pretrained Visual Encoders for Multimodal Learning

September 1, 2025

Авторы: Yanqing Liu, Xianhang Li, Letian Zhang, Zirui Wang, Zeyu Zheng, Yuyin Zhou, Cihang Xie

cs.AI

Аннотация

В данной статье представлено упрощение архитектуры OpenVision и дизайна функции потерь для повышения эффективности обучения. Вслед за предыдущими работами по предварительному обучению на основе зрения и языка, такими как CapPa и AIMv2, а также современными мультимодальными подходами, такими как LLaVA, наши изменения просты: мы удаляем текстовый кодировщик (и, следовательно, контрастивную функцию потерь), оставляя только функцию потерь для генерации подписей в качестве чисто генеративного сигнала обучения. Мы называем эту новую версию OpenVision 2. Первоначальные результаты обнадеживают: несмотря на это упрощение, OpenVision 2 конкурентоспособно соответствует производительности оригинальной модели на широком наборе мультимодальных тестов, при этом значительно сокращая время обучения и потребление памяти. Например, с использованием ViT-L/14 время обучения сокращается примерно в 1,5 раза (с 83 часов до 57 часов), а использование памяти — примерно в 1,8 раза (с 24,5 ГБ до 13,8 ГБ, что эквивалентно увеличению максимального размера пакета с 2 тыс. до 8 тыс.). Эта превосходная эффективность обучения также позволяет нам масштабироваться далеко за пределы самого большого визуального кодировщика, использованного в OpenVision, достигая более 1 миллиарда параметров. Мы твердо убеждены, что этот легковесный, исключительно генеративный подход является перспективным для будущего развития визуальных кодировщиков в мультимодальных базовых моделях.

English

This paper provides a simplification on OpenVision's architecture and loss design for enhancing its training efficiency. Following the prior vision-language pretraining works CapPa and AIMv2, as well as modern multimodal designs like LLaVA, our changes are straightforward: we remove the text encoder (and therefore the contrastive loss), retaining only the captioning loss as a purely generative training signal. We name this new version OpenVision 2. The initial results are promising: despite this simplification, OpenVision 2 competitively matches the original model's performance on a broad set of multimodal benchmarks while substantially cutting both training time and memory consumption. For example, with ViT-L/14, it reduces training time by about 1.5x (from 83h to 57h), and memory usage by about 1.8x (from 24.5GB to 13.8GB, equivalently allowing the maximum batch size to grow from 2k to 8k). This superior training efficiency also allows us to scale far beyond the largest vision encoder used in OpenVision, reaching more than 1 billion parameters. We hold a strong belief that this lightweight, generative-only paradigm is compelling for future vision encoder development in multimodal foundation models.