Des pixels aux mots — Vers des modèles One-Vision natifs à grande échelle

Résumé

Les modèles vision-langage (VLM) actuels assemblent généralement des encodeurs d'images et des décodeurs de langage distincts via un alignement multi-étapes, un cadre modulaire qui fragmente inévitablement les signaux au niveau pixel entre les trames et disperse les interactions précoces pixel-mot. Parallèlement, les VLM natifs, malgré des performances impressionnantes sur des images uniques, restent largement inexplorés dans les contextes multi-images, la compréhension vidéo et l'intelligence spatiale. Par conséquent, nous présentons NEO-ov, un modèle fondation natif qui apprend la correspondance inter-trame et pixel-mot de bout en bout, sans aucun encodeur externe, adaptateur auxiliaire ni fusion a posteriori. En éliminant complètement les frontières entre modules, NEO-ov permet une modélisation spatiotemporelle fine et unifiée émergeant de manière native à l'intérieur du modèle. Notamment, NEO-ov réduit considérablement l'écart avec les homologues modulaires tout en excellent dans la perception visuelle fine, validant ainsi que les architectures « une seule vision » natives sont non seulement réalisables mais aussi compétitives à grande échelle. Au-delà des performances empiriques, nous dévoilons des analyses architecturales systématiques et des recettes d'entraînement détaillées pour faciliter la modélisation multimodale native ultérieure. Notre code et nos modèles sont disponibles publiquement à l'adresse : https://github.com/EvolvingLMMs-Lab/NEO.

English

Current vision-language models (VLMs) typically stitch together separate image encoders and language decoders via multi-stage alignment, a modular framework that inevitably fragments pixel-level signals across frames and scatters early pixel-word interactions. In parallel, native VLMs, despite impressive performance on single images, remain largely unexplored in multi-image, video understanding, and spatial intelligence. Hence, we introduce NEO-ov, a native foundation model that learns cross-frame and pixel-word correspondence end-to-end, without any external encoders, auxiliary adapters, or post-hoc fusion. By eliminating module boundaries entirely, NEO-ov enables fine-grained and unified spatiotemporal modeling to emerge natively inside the model. Notably, NEO-ov largely narrows the gap to modular counterparts while excelling at fine-grained visual perception, validating that native "one-vision" architectures are not only feasible but competitive at scale. Beyond empirical performance, we unveil systematic architectural analyses and detailed training recipes to facilitate subsequent native multimodal modeling. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.