Van pixels naar woorden – richting native One-Vision-modellen op schaal
From Pixels to Words -- Towards Native One-Vision Models at Scale
May 27, 2026
Auteurs: Haiwen Diao, Jiahao Wang, Penghao Wu, Yuhao Dong, Yuwei Niu, Yue Zhu, Zhongang Cai, Weichen Fan, Linjun Dai, Silei Wu, Xuanyu Zheng, Mingxuan Li, Yuanhan Zhang, Bo Li, Hanming Deng, Huchuan Lu, Quan Wang, Lei Yang, Lewei Lu, Dahua Lin, Ziwei Liu
cs.AI
Samenvatting
Huidige vision-languagemodellen (VLM's) koppelen doorgaans afzonderlijke beeldencoders en taaldecoders aan elkaar via meerfasige afstemming, een modulair raamwerk dat onvermijdelijk pixelsignalen over frames fragmenteert en vroege pixel-woordinteracties verspreidt. Parallel daaraan blijven native VLM's, ondanks indrukwekkende prestaties op enkele afbeeldingen, grotendeels onverkend op het gebied van meerdere afbeeldingen, videobegrip en ruimtelijke intelligentie. Daarom introduceren we NEO-ov, een natief funderingsmodel dat cross-frame- en pixel-woordcorrespondentie leert van begin tot eind, zonder externe encoders, hulpadapters of post-hocfusie. Door modulegrenzen volledig te elimineren, maakt NEO-ov het mogelijk dat fijnmazige en uniforme spatiotemporele modellering native binnen het model ontstaat. Opvallend is dat NEO-ov de kloof met modulaire tegenhangers aanzienlijk verkleint, terwijl het uitblinkt in fijnmazige visuele perceptie, wat bevestigt dat native 'one-vision'-architecturen niet alleen haalbaar zijn, maar ook concurrerend op schaal. Naast empirische prestaties onthullen we systematische architectuuranalyses en gedetailleerde trainingsrecepten om daaropvolgende native multimodale modellering te vergemakkelijken. Onze code en modellen zijn openbaar beschikbaar op: https://github.com/EvolvingLMMs-Lab/NEO.
English
Current vision-language models (VLMs) typically stitch together separate image encoders and language decoders via multi-stage alignment, a modular framework that inevitably fragments pixel-level signals across frames and scatters early pixel-word interactions. In parallel, native VLMs, despite impressive performance on single images, remain largely unexplored in multi-image, video understanding, and spatial intelligence. Hence, we introduce NEO-ov, a native foundation model that learns cross-frame and pixel-word correspondence end-to-end, without any external encoders, auxiliary adapters, or post-hoc fusion. By eliminating module boundaries entirely, NEO-ov enables fine-grained and unified spatiotemporal modeling to emerge natively inside the model. Notably, NEO-ov largely narrows the gap to modular counterparts while excelling at fine-grained visual perception, validating that native "one-vision" architectures are not only feasible but competitive at scale. Beyond empirical performance, we unveil systematic architectural analyses and detailed training recipes to facilitate subsequent native multimodal modeling. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.