Dos pixels às palavras -- Rumo a modelos One-Vision nativos em escala.

Resumo

Os atuais modelos de visão-linguagem (VLMs) tipicamente costuram codificadores de imagem e decodificadores de linguagem separados por meio de alinhamento em múltiplos estágios, uma estrutura modular que inevitavelmente fragmenta sinais em nível de pixel entre quadros e dispersa interações precoces entre pixel e palavra. Paralelamente, VLMs nativos, apesar do desempenho impressionante em imagens únicas, permanecem em grande parte inexplorados em compreensão de múltiplas imagens, vídeos e inteligência espacial. Assim, introduzimos o NEO-ov, um modelo nativo fundamental que aprende correspondência entre quadros e entre pixel e palavra de ponta a ponta, sem quaisquer codificadores externos, adaptadores auxiliares ou fusão post-hoc. Ao eliminar totalmente as fronteiras entre módulos, o NEO-ov permite que uma modelagem espaço-temporal unificada e refinada emerga nativamente dentro do modelo. Notavelmente, o NEO-ov reduz amplamente a lacuna em relação a contrapartes modulares, ao mesmo tempo que se destaca na percepção visual refinada, validando que arquiteturas nativas de "uma visão" não são apenas viáveis, mas competitivas em escala. Além do desempenho empírico, revelamos análises arquitetônicas sistemáticas e receitas detalhadas de treinamento para facilitar a subsequente modelagem multimodal nativa. Nosso código e modelos estão disponíveis publicamente em: https://github.com/EvolvingLMMs-Lab/NEO.

English

Current vision-language models (VLMs) typically stitch together separate image encoders and language decoders via multi-stage alignment, a modular framework that inevitably fragments pixel-level signals across frames and scatters early pixel-word interactions. In parallel, native VLMs, despite impressive performance on single images, remain largely unexplored in multi-image, video understanding, and spatial intelligence. Hence, we introduce NEO-ov, a native foundation model that learns cross-frame and pixel-word correspondence end-to-end, without any external encoders, auxiliary adapters, or post-hoc fusion. By eliminating module boundaries entirely, NEO-ov enables fine-grained and unified spatiotemporal modeling to emerge natively inside the model. Notably, NEO-ov largely narrows the gap to modular counterparts while excelling at fine-grained visual perception, validating that native "one-vision" architectures are not only feasible but competitive at scale. Beyond empirical performance, we unveil systematic architectural analyses and detailed training recipes to facilitate subsequent native multimodal modeling. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.