Von Pixeln zu Wörtern – Auf dem Weg zu nativen One-Vision-Modellen im großen Maßstab
From Pixels to Words -- Towards Native One-Vision Models at Scale
May 27, 2026
Autoren: Haiwen Diao, Jiahao Wang, Penghao Wu, Yuhao Dong, Yuwei Niu, Yue Zhu, Zhongang Cai, Weichen Fan, Linjun Dai, Silei Wu, Xuanyu Zheng, Mingxuan Li, Yuanhan Zhang, Bo Li, Hanming Deng, Huchuan Lu, Quan Wang, Lei Yang, Lewei Lu, Dahua Lin, Ziwei Liu
cs.AI
Zusammenfassung
Aktuelle Vision-Language-Modelle (VLMs) setzen typischerweise separate Bildencoder und Sprachdecoder mittels mehrstufiger Abstimmung zusammen – ein modulares Framework, das zwangsläufig pixelgenaue Signale über Einzelbilder hinweg fragmentiert und frühe Pixel-Wort-Interaktionen zerstreut. Parallel dazu bleiben native VLMs trotz beeindruckender Leistung bei Einzelbildern in den Bereichen Multi-Bild-, Videoverständnis und räumliche Intelligenz weitgehend unerforscht. Daher stellen wir NEO-ov vor, ein nativens Foundation-Modell, das bildübergreifende und Pixel-Wort-Korrespondenzen Ende-zu-Ende lernt – ohne externe Encoder, Hilfsadapter oder nachträgliche Fusion. Durch die vollständige Beseitigung von Modulgrenzen ermöglicht NEO-ov eine feinkörnige und einheitliche raumzeitliche Modellierung, die nativ im Modell entsteht. Bemerkenswerterweise verringert NEO-ov die Lücke zu modularen Gegenstücken erheblich, während es sich durch feinkörnige visuelle Wahrnehmung auszeichnet – was bestätigt, dass native "One-Vision"-Architekturen nicht nur machbar, sondern auch im großen Maßstab wettbewerbsfähig sind. Über die empirische Leistung hinaus enthüllen wir systematische Architekturanalysen und detaillierte Trainingsrezepte, um nachfolgendes nativ multimodales Modellieren zu erleichtern. Unser Code und unsere Modelle sind öffentlich verfügbar unter: https://github.com/EvolvingLMMs-Lab/NEO.
English
Current vision-language models (VLMs) typically stitch together separate image encoders and language decoders via multi-stage alignment, a modular framework that inevitably fragments pixel-level signals across frames and scatters early pixel-word interactions. In parallel, native VLMs, despite impressive performance on single images, remain largely unexplored in multi-image, video understanding, and spatial intelligence. Hence, we introduce NEO-ov, a native foundation model that learns cross-frame and pixel-word correspondence end-to-end, without any external encoders, auxiliary adapters, or post-hoc fusion. By eliminating module boundaries entirely, NEO-ov enables fine-grained and unified spatiotemporal modeling to emerge natively inside the model. Notably, NEO-ov largely narrows the gap to modular counterparts while excelling at fine-grained visual perception, validating that native "one-vision" architectures are not only feasible but competitive at scale. Beyond empirical performance, we unveil systematic architectural analyses and detailed training recipes to facilitate subsequent native multimodal modeling. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.