От пикселей к словам — на пути к нативным One-Vision моделям в масштабе

Аннотация

Современные модели зрения-языка (VLM) обычно объединяют отдельные кодировщики изображений и декодеры языка посредством многоэтапного выравнивания — модульной архитектуры, которая неизбежно фрагментирует сигналы на уровне пикселей между кадрами и разобщает ранние взаимодействия пикселей и слов. В то же время нативные VLM, несмотря на впечатляющую производительность на отдельных изображениях, остаются практически неисследованными в задачах множественных изображений, понимания видео и пространственного интеллекта. В связи с этим мы представляем NEO-ov — нативную базовую модель, которая обучает межкадровое соответствие и соответствие между пикселями и словами сквозным образом, без использования внешних кодировщиков, вспомогательных адаптеров или пост-хок слияния. Полностью устраняя границы между модулями, NEO-ov позволяет детализированное и унифицированное пространственно-временное моделирование, возникающее нативно внутри самой модели. Примечательно, что NEO-ov значительно сокращает разрыв с модульными аналогами, превосходя их в восприятии мелких деталей, что подтверждает, что нативные архитектуры «единого зрения» не только осуществимы, но и конкурентоспособны в масштабе. Помимо эмпирической производительности, мы раскрываем систематический анализ архитектур и подробные рецепты обучения, чтобы облегчить последующее нативное мультимодальное моделирование. Наш код и модели общедоступны по адресу: https://github.com/EvolvingLMMs-Lab/NEO.

English

Current vision-language models (VLMs) typically stitch together separate image encoders and language decoders via multi-stage alignment, a modular framework that inevitably fragments pixel-level signals across frames and scatters early pixel-word interactions. In parallel, native VLMs, despite impressive performance on single images, remain largely unexplored in multi-image, video understanding, and spatial intelligence. Hence, we introduce NEO-ov, a native foundation model that learns cross-frame and pixel-word correspondence end-to-end, without any external encoders, auxiliary adapters, or post-hoc fusion. By eliminating module boundaries entirely, NEO-ov enables fine-grained and unified spatiotemporal modeling to emerge natively inside the model. Notably, NEO-ov largely narrows the gap to modular counterparts while excelling at fine-grained visual perception, validating that native "one-vision" architectures are not only feasible but competitive at scale. Beyond empirical performance, we unveil systematic architectural analyses and detailed training recipes to facilitate subsequent native multimodal modeling. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.