De píxeles a palabras — hacia modelos nativos de visión unificada a gran escala

Resumen

Los modelos actuales de visión-lenguaje (VLMs) suelen combinar codificadores de imagen y decodificadores de lenguaje independientes mediante una alineación en múltiples etapas, un marco modular que fragmenta inevitablemente las señales a nivel de píxel entre fotogramas y dispersa las interacciones tempranas píxel-palabra. Paralelamente, los VLMs nativos, a pesar de su impresionante rendimiento en imágenes individuales, permanecen en gran medida inexplorados en comprensión de múltiples imágenes, video e inteligencia espacial. Por lo tanto, presentamos NEO-ov, un modelo fundacional nativo que aprende la correspondencia entre fotogramas y entre píxeles y palabras de extremo a extremo, sin codificadores externos, adaptadores auxiliares ni fusión a posteriori. Al eliminar por completo los límites entre módulos, NEO-ov permite que surja de forma nativa dentro del modelo un modelado espacio-temporal detallado y unificado. Notablemente, NEO-ov reduce en gran medida la brecha con sus contrapartes modulares, a la vez que sobresale en la percepción visual detallada, validando que las arquitecturas nativas de "una sola visión" no solo son factibles sino competitivas a escala. Más allá del rendimiento empírico, revelamos análisis arquitectónicos sistemáticos y recetas de entrenamiento detalladas para facilitar el modelado multimodal nativo posterior. Nuestro código y modelos están disponibles públicamente en: https://github.com/EvolvingLMMs-Lab/NEO.

English

Current vision-language models (VLMs) typically stitch together separate image encoders and language decoders via multi-stage alignment, a modular framework that inevitably fragments pixel-level signals across frames and scatters early pixel-word interactions. In parallel, native VLMs, despite impressive performance on single images, remain largely unexplored in multi-image, video understanding, and spatial intelligence. Hence, we introduce NEO-ov, a native foundation model that learns cross-frame and pixel-word correspondence end-to-end, without any external encoders, auxiliary adapters, or post-hoc fusion. By eliminating module boundaries entirely, NEO-ov enables fine-grained and unified spatiotemporal modeling to emerge natively inside the model. Notably, NEO-ov largely narrows the gap to modular counterparts while excelling at fine-grained visual perception, validating that native "one-vision" architectures are not only feasible but competitive at scale. Beyond empirical performance, we unveil systematic architectural analyses and detailed training recipes to facilitate subsequent native multimodal modeling. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.