Leren zien voordat je ziet: Het ontrafelen van visuele voorkennis in LLM's door taalvoorafscholing

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

September 30, 2025

Auteurs: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

cs.AI

Samenvatting

Grote Taalmodellen (LLMs), ondanks dat ze alleen op tekst zijn getraind, ontwikkelen verrassend genoeg rijke visuele voorkennis. Deze voorkennis maakt het mogelijk om latente visuele capaciteiten te ontgrendelen voor visuele taken met een relatief kleine hoeveelheid multimodale data, en in sommige gevallen zelfs visuele taken uit te voeren zonder ooit een beeld te hebben gezien. Door systematische analyse onthullen we dat visuele voorkennis - de impliciete, emergente kennis over de visuele wereld die wordt verworven tijdens taalpretraining - bestaat uit afzonderlijke perceptie- en redeneervoorkennis met unieke schaalpatronen en oorsprongen. We laten zien dat de latente visuele redeneervaardigheid van een LLM voornamelijk wordt ontwikkeld door pretraining op redeneringsgerichte data (bijv. code, wiskunde, academische teksten) en progressief schaalt. Deze redeneervoorkennis die wordt verkregen uit taalpretraining is overdraagbaar en universeel toepasbaar op visueel redeneren. Daarentegen ontstaat een perceptievoorkennis meer diffuus uit brede corpora, en is perceptievermogen gevoeliger voor de visuele encoder en visuele instructieafstemmingsdata. Tegelijkertijd blijkt tekst die de visuele wereld beschrijft cruciaal, hoewel de prestatie-impact ervan snel verzadigt. Gebruikmakend van deze inzichten, stellen we een data-gerichte aanpak voor voor het pretrainen van visueel bewuste LLMs en verifiëren we deze op een schaal van 1T tokens pretraining. Onze bevindingen zijn gebaseerd op meer dan 100 gecontroleerde experimenten die 500.000 GPU-uren in beslag nemen, en beslaan de volledige MLLM-constructiepijplijn - van LLM-pretraining tot visuele afstemming en gesuperviseerde multimodale fine-tuning - over vijf modelschalen, een breed scala aan datacategorieën en -mengsels, en meerdere aanpassingsopstellingen. Naast onze belangrijkste bevindingen, stellen we verschillende hypothesen voor en onderzoeken we deze, en introduceren we de Multi-Level Existence Bench (MLE-Bench). Samen biedt dit werk een nieuwe manier om bewust visuele voorkennis te cultiveren uit taalpretraining, wat de weg vrijmaakt voor de volgende generatie multimodale LLMs.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.