De Pixels a Palavras -- Rumo a Primitivas Nativas de Visão e Linguagem em Escala

From Pixels to Words -- Towards Native Vision-Language Primitives at Scale

October 16, 2025

Autores: Haiwen Diao, Mingxuan Li, Silei Wu, Linjun Dai, Xiaohua Wang, Hanming Deng, Lewei Lu, Dahua Lin, Ziwei Liu

cs.AI

Resumo

O edifício dos Modelos Visão-Linguagem Nativos (VLMs) emergiu como um forte concorrente aos típicos VLMs modulares, moldado por arquiteturas de modelos e paradigmas de treinamento em evolução. No entanto, duas nuvens persistentes lançam sombras sobre sua ampla exploração e promoção: (-) Quais são as restrições fundamentais que diferenciam os VLMs nativos dos modulares, e até que ponto essas barreiras podem ser superadas? (-) Como tornar a pesquisa em VLMs nativos mais acessível e democratizada, acelerando assim o progresso no campo. Neste artigo, esclarecemos esses desafios e delineamos princípios orientadores para a construção de VLMs nativos. Especificamente, um primitivo de VLM nativo deve: (i) alinhar efetivamente as representações de pixels e palavras dentro de um espaço semântico compartilhado; (ii) integrar de forma contínua os pontos fortes dos módulos de visão e linguagem anteriormente separados; (iii) incorporar intrinsecamente várias propriedades cross-modais que suportam codificação, alinhamento e raciocínio unificados de visão e linguagem. Assim, lançamos o NEO, uma nova família de VLMs nativos construída a partir de primeiros princípios, capaz de rivalizar com as melhores contrapartes modulares em diversos cenários do mundo real. Com apenas 390M exemplos de imagem-texto, o NEO desenvolve eficientemente a percepção visual do zero, enquanto mitiga conflitos visão-linguagem dentro de um modelo denso e monolítico elaborado a partir de nossos primitivos detalhados. Posicionamos o NEO como uma pedra angular para VLMs nativos escaláveis e poderosos, acompanhado por um rico conjunto de componentes reutilizáveis que promovem um ecossistema econômico e extensível. Nosso código e modelos estão publicamente disponíveis em: https://github.com/EvolvingLMMs-Lab/NEO.

English

The edifice of native Vision-Language Models (VLMs) has emerged as a rising contender to typical modular VLMs, shaped by evolving model architectures and training paradigms. Yet, two lingering clouds cast shadows over its widespread exploration and promotion: (-) What fundamental constraints set native VLMs apart from modular ones, and to what extent can these barriers be overcome? (-) How to make research in native VLMs more accessible and democratized, thereby accelerating progress in the field. In this paper, we clarify these challenges and outline guiding principles for constructing native VLMs. Specifically, one native VLM primitive should: (i) effectively align pixel and word representations within a shared semantic space; (ii) seamlessly integrate the strengths of formerly separate vision and language modules; (iii) inherently embody various cross-modal properties that support unified vision-language encoding, aligning, and reasoning. Hence, we launch NEO, a novel family of native VLMs built from first principles, capable of rivaling top-tier modular counterparts across diverse real-world scenarios. With only 390M image-text examples, NEO efficiently develops visual perception from scratch while mitigating vision-language conflicts inside a dense and monolithic model crafted from our elaborate primitives. We position NEO as a cornerstone for scalable and powerful native VLMs, paired with a rich set of reusable components that foster a cost-effective and extensible ecosystem. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.