Apprendre à voir avant de voir : Démystifier les préconceptions visuelles des LLM issues du pré-entraînement linguistique

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

September 30, 2025

papers.authors: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

cs.AI

papers.abstract

Les modèles de langage de grande taille (LLMs), bien qu'entraînés uniquement sur du texte, développent de manière surprenante des préconceptions visuelles riches. Ces préconceptions permettent de débloquer des capacités visuelles latentes pour des tâches de vision avec une quantité relativement faible de données multimodales, et dans certains cas, de réaliser des tâches visuelles sans jamais avoir vu d'image. À travers une analyse systématique, nous révélons que les préconceptions visuelles - les connaissances implicites et émergentes sur le monde visuel acquises lors du pré-entraînement linguistique - sont composées de préconceptions de perception et de raisonnement séparables, avec des tendances et des origines de mise à l'échelle uniques. Nous montrons que la capacité de raisonnement visuel latent d'un LLM est principalement développée par un pré-entraînement sur des données centrées sur le raisonnement (par exemple, le code, les mathématiques, les textes académiques) et évolue de manière progressive. Cette préconception de raisonnement acquise lors du pré-entraînement linguistique est transférable et universellement applicable au raisonnement visuel. En revanche, une préconception de perception émerge de manière plus diffuse à partir de corpus variés, et la capacité de perception est plus sensible à l'encodeur visuel et aux données d'ajustement des instructions visuelles. Parallèlement, le texte décrivant le monde visuel s'avère crucial, bien que son impact sur la performance se sature rapidement. En tirant parti de ces insights, nous proposons une recette centrée sur les données pour le pré-entraînement de LLMs conscients de la vision et la vérifions à l'échelle d'un pré-entraînement de 1T de tokens. Nos résultats sont fondés sur plus de 100 expériences contrôlées consommant 500 000 heures de GPU, couvrant l'ensemble du pipeline de construction des MLLM - du pré-entraînement des LLMs à l'alignement visuel et au réglage fin multimodal supervisé - à travers cinq échelles de modèles, une large gamme de catégories et de mélanges de données, et plusieurs configurations d'adaptation. En parallèle de nos principales découvertes, nous proposons et examinons plusieurs hypothèses, et introduisons le Multi-Level Existence Bench (MLE-Bench). Ensemble, ce travail offre une nouvelle manière de cultiver délibérément des préconceptions visuelles à partir du pré-entraînement linguistique, ouvrant la voie à la prochaine génération de LLMs multimodaux.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.