Imparare a Vedere Prima di Vedere: Svelare i Priori Visivi dei Modelli Linguistici Pre-addestrati

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

September 30, 2025

Autori: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

cs.AI

Abstract

I Large Language Models (LLM), nonostante siano addestrati esclusivamente su testo, sviluppano sorprendentemente ricchi prior visivi. Questi prior consentono di sbloccare capacità visive latenti per compiti di visione con una quantità relativamente piccola di dati multimodali e, in alcuni casi, di eseguire compiti visivi senza aver mai visto un'immagine. Attraverso un'analisi sistematica, riveliamo che i prior visivi - la conoscenza implicita ed emergente sul mondo visivo acquisita durante il pre-training linguistico - sono composti da prior di percezione e ragionamento separabili, con tendenze di scalabilità e origini uniche. Dimostriamo che la capacità di ragionamento visivo latente di un LLM si sviluppa principalmente attraverso il pre-training su dati incentrati sul ragionamento (ad esempio, codice, matematica, ambito accademico) e scala progressivamente. Questo prior di ragionamento acquisito dal pre-training linguistico è trasferibile e universalmente applicabile al ragionamento visivo. Al contrario, un prior di percezione emerge in modo più diffuso da corpora ampi e la capacità di percezione è più sensibile all'encoder visivo e ai dati di tuning delle istruzioni visive. Parallelamente, il testo che descrive il mondo visivo si rivela cruciale, sebbene il suo impatto sulle prestazioni si saturi rapidamente. Sfruttando queste intuizioni, proponiamo una ricetta centrata sui dati per il pre-training di LLM consapevoli della visione e la verifichiamo in un pre-training su scala di 1T di token. Le nostre scoperte sono basate su oltre 100 esperimenti controllati che hanno consumato 500.000 ore di GPU, coprendo l'intera pipeline di costruzione degli MLLM - dal pre-training degli LLM all'allineamento visivo e al fine-tuning multimodale supervisionato - attraverso cinque scale di modelli, un'ampia gamma di categorie e miscele di dati e molteplici configurazioni di adattamento. Insieme ai nostri risultati principali, proponiamo e investigiamo diverse ipotesi e introduciamo il Multi-Level Existence Bench (MLE-Bench). Insieme, questo lavoro fornisce un nuovo modo di coltivare deliberatamente prior visivi dal pre-training linguistico, aprendo la strada alla prossima generazione di LLM multimodali.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.