Van Pixels naar Woorden – Op Weg naar Inheemse Visie-Taal Primitieven op Schaal

Samenvatting

Het bouwwerk van native Vision-Language Models (VLMs) is naar voren gekomen als een opkomende uitdager voor de typische modulaire VLMs, gevormd door evoluerende modelarchitecturen en trainingsparadigma's. Toch werpen twee blijvende vraagstukken een schaduw over de brede verkenning en promotie ervan: (-) Welke fundamentele beperkingen onderscheiden native VLMs van modulaire, en in hoeverre kunnen deze barrières worden overwonnen? (-) Hoe kan onderzoek naar native VLMs toegankelijker en gedemocratiseerd worden, waardoor de vooruitgang in het veld wordt versneld? In dit artikel verhelderen we deze uitdagingen en schetsen we richtlijnen voor het construeren van native VLMs. Specifiek zou een native VLM-primitief moeten: (i) effectief pixel- en woordrepresentaties uitlijnen binnen een gedeelde semantische ruimte; (ii) naadloos de sterke punten van voorheen gescheiden visie- en taalmodules integreren; (iii) inherent verschillende cross-modale eigenschappen belichamen die een verenigde visie-taalcodering, -uitlijning en -redenering ondersteunen. Daarom lanceren we NEO, een nieuwe familie van native VLMs gebouwd vanuit eerste principes, die in staat is om topmodulaire tegenhangers te evenaren in diverse real-world scenario's. Met slechts 390 miljoen beeld-tekstvoorbeelden ontwikkelt NEO efficiënt visuele perceptie vanaf nul, terwijl visie-taalconflicten worden gemitigeerd binnen een dicht en monolithisch model, vervaardigd vanuit onze uitgebreide primitieven. We positioneren NEO als een hoeksteen voor schaalbare en krachtige native VLMs, gepaard met een rijke set herbruikbare componenten die een kosteneffectief en uitbreidbaar ecosysteem bevorderen. Onze code en modellen zijn publiekelijk beschikbaar op: https://github.com/EvolvingLMMs-Lab/NEO.

English

The edifice of native Vision-Language Models (VLMs) has emerged as a rising contender to typical modular VLMs, shaped by evolving model architectures and training paradigms. Yet, two lingering clouds cast shadows over its widespread exploration and promotion: (-) What fundamental constraints set native VLMs apart from modular ones, and to what extent can these barriers be overcome? (-) How to make research in native VLMs more accessible and democratized, thereby accelerating progress in the field. In this paper, we clarify these challenges and outline guiding principles for constructing native VLMs. Specifically, one native VLM primitive should: (i) effectively align pixel and word representations within a shared semantic space; (ii) seamlessly integrate the strengths of formerly separate vision and language modules; (iii) inherently embody various cross-modal properties that support unified vision-language encoding, aligning, and reasoning. Hence, we launch NEO, a novel family of native VLMs built from first principles, capable of rivaling top-tier modular counterparts across diverse real-world scenarios. With only 390M image-text examples, NEO efficiently develops visual perception from scratch while mitigating vision-language conflicts inside a dense and monolithic model crafted from our elaborate primitives. We position NEO as a cornerstone for scalable and powerful native VLMs, paired with a rich set of reusable components that foster a cost-effective and extensible ecosystem. Our code and models are publicly available at: https://github.com/EvolvingLMMs-Lab/NEO.

Van Pixels naar Woorden – Op Weg naar Inheemse Visie-Taal Primitieven op Schaal

From Pixels to Words -- Towards Native Vision-Language Primitives at Scale

Samenvatting

Support