Lernen zu sehen, bevor man sieht: Entmystifizierung visueller Priors in LLMs durch Sprachvorverarbeitung

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

September 30, 2025

papers.authors: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

cs.AI

papers.abstract

Große Sprachmodelle (LLMs), obwohl sie ausschließlich auf Text trainiert wurden, entwickeln überraschenderweise umfangreiche visuelle Vorannahmen. Diese Vorannahmen ermöglichen es, latente visuelle Fähigkeiten für Vision-Aufgaben mit einer relativ geringen Menge an multimodalen Daten freizuschalten, und in einigen Fällen sogar visuelle Aufgaben zu bewältigen, ohne jemals ein Bild gesehen zu haben. Durch systematische Analysen zeigen wir, dass visuelle Vorannahmen – das implizite, emergente Wissen über die visuelle Welt, das während des Sprach-Vortrainings erworben wird – aus trennbaren Wahrnehmungs- und Schlussfolgerungsvorannahmen bestehen, die einzigartige Skalierungstrends und Ursprünge aufweisen. Wir zeigen, dass die latente visuelle Schlussfolgerungsfähigkeit eines LLMs hauptsächlich durch das Vortraining auf schlussfolgerungszentrierten Daten (z.B. Code, Mathematik, akademische Texte) entwickelt wird und progressiv skaliert. Diese durch Sprach-Vortraining erworbene Schlussfolgerungsvorannahme ist übertragbar und universell auf visuelle Schlussfolgerungen anwendbar. Im Gegensatz dazu entsteht eine Wahrnehmungsvorannahme diffuser aus breiten Textkorpora, und die Wahrnehmungsfähigkeit ist empfindlicher gegenüber dem Vision-Encoder und den visuellen Instruktions-Tuning-Daten. Parallel dazu erweist sich Text, der die visuelle Welt beschreibt, als entscheidend, obwohl seine Leistungsauswirkung schnell gesättigt ist. Basierend auf diesen Erkenntnissen schlagen wir ein datenzentriertes Rezept für das Vortraining von visuell bewussten LLMs vor und verifizieren es in einem Vortraining im Maßstab von 1T Token. Unsere Ergebnisse basieren auf über 100 kontrollierten Experimenten, die 500.000 GPU-Stunden in Anspruch nehmen und die gesamte MLLM-Konstruktionspipeline abdecken – vom LLM-Vortraining über visuelle Ausrichtung bis hin zu überwachtem multimodalen Fein-Tuning – über fünf Modellskalen, eine breite Palette von Datenkategorien und -mischungen sowie mehrere Anpassungsszenarien. Neben unseren Hauptergebnissen schlagen und untersuchen wir mehrere Hypothesen und führen den Multi-Level Existence Bench (MLE-Bench) ein. Zusammen bietet diese Arbeit einen neuen Ansatz, um gezielt visuelle Vorannahmen aus dem Sprach-Vortraining zu kultivieren und ebnet den Weg für die nächste Generation multimodaler LLMs.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.