De píxeles a palabras: hacia primitivas nativas de visión-lenguaje a gran escala

Resumen

El edificio de los Modelos de Visión-Lenguaje (VLMs) nativos ha surgido como un contendiente en ascenso frente a los VLMs modulares típicos, moldeado por la evolución de las arquitecturas de modelos y los paradigmas de entrenamiento. Sin embargo, dos nubes persistentes proyectan sombras sobre su exploración y promoción generalizada: (1) ¿Qué limitaciones fundamentales diferencian a los VLMs nativos de los modulares, y hasta qué punto pueden superarse estas barreras? (2) ¿Cómo hacer que la investigación en VLMs nativos sea más accesible y democratizada, acelerando así el progreso en el campo? En este artículo, aclaramos estos desafíos y esbozamos principios rectores para la construcción de VLMs nativos. Específicamente, un primitivo de VLM nativo debe: (i) alinear efectivamente las representaciones de píxeles y palabras dentro de un espacio semántico compartido; (ii) integrar de manera fluida las fortalezas de los módulos de visión y lenguaje previamente separados; (iii) encarnar inherentemente diversas propiedades multimodales que apoyen la codificación, alineación y razonamiento unificados de visión y lenguaje. Por ello, presentamos NEO, una nueva familia de VLMs nativos construida desde los primeros principios, capaz de rivalizar con las contrapartes modulares de primer nivel en diversos escenarios del mundo real. Con solo 390 millones de ejemplos de imágenes-texto, NEO desarrolla eficientemente la percepción visual desde cero, mitigando los conflictos entre visión y lenguaje dentro de un modelo denso y monolítico elaborado a partir de nuestros primitivos detallados. Posicionamos a NEO como una piedra angular para VLMs nativos escalables y potentes, acompañado de un rico conjunto de componentes reutilizables que fomentan un ecosistema rentable y extensible. Nuestro código y modelos están disponibles públicamente en: https://github.com/EvolvingLMMs-Lab/NEO.

English

The edifice of native Vision-Language Models (VLMs) has emerged as a rising contender to typical modular VLMs, shaped by evolving model architectures and training paradigms. Yet, two lingering clouds cast shadows over its widespread exploration and promotion: (-) What fundamental constraints set native VLMs apart from modular ones, and to what extent can these barriers be overcome? (-) How to make research in native VLMs more accessible and democratized, thereby accelerating progress in the field. In this paper, we clarify these challenges and outline guiding principles for constructing native VLMs. Specifically, one native VLM primitive should: (i) effectively align pixel and word representations within a shared semantic space; (ii) seamlessly integrate the strengths of formerly separate vision and language modules; (iii) inherently embody various cross-modal properties that support unified vision-language encoding, aligning, and reasoning. Hence, we launch NEO, a novel family of native VLMs built from first principles, capable of rivaling top-tier modular counterparts across diverse real-world scenarios. With only 390M image-text examples, NEO efficiently develops visual perception from scratch while mitigating vision-language conflicts inside a dense and monolithic model crafted from our elaborate primitives. We position NEO as a cornerstone for scalable and powerful native VLMs, paired with a rich set of reusable components that foster a cost-effective and extensible ecosystem. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.

De píxeles a palabras: hacia primitivas nativas de visión-lenguaje a gran escala

From Pixels to Words -- Towards Native Vision-Language Primitives at Scale

Resumen

Support