Aprendiendo a ver antes de ver: Desmitificando los priors visuales de los LLM a partir del preentrenamiento lingüístico

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

September 30, 2025

Autores: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

cs.AI

Resumen

Los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés), a pesar de ser entrenados únicamente con texto, desarrollan de manera sorprendente ricos conocimientos previos visuales. Estos conocimientos permiten desbloquear capacidades visuales latentes para tareas de visión con una cantidad relativamente pequeña de datos multimodales, y en algunos casos, realizar tareas visuales sin haber visto nunca una imagen. A través de un análisis sistemático, revelamos que los conocimientos previos visuales—el conocimiento implícito y emergente sobre el mundo visual adquirido durante el preentrenamiento del lenguaje—están compuestos por conocimientos previos de percepción y razonamiento separables, con tendencias de escalado y orígenes únicos. Demostramos que la capacidad de razonamiento visual latente de un LLM se desarrolla predominantemente mediante el preentrenamiento con datos centrados en el razonamiento (por ejemplo, código, matemáticas, academia) y escala progresivamente. Este conocimiento previo de razonamiento adquirido del preentrenamiento del lenguaje es transferible y universalmente aplicable al razonamiento visual. En contraste, un conocimiento previo de percepción emerge de manera más difusa de corpus amplios, y la capacidad de percepción es más sensible al codificador visual y a los datos de ajuste fino de instrucciones visuales. Paralelamente, el texto que describe el mundo visual resulta crucial, aunque su impacto en el rendimiento se satura rápidamente. Aprovechando estas ideas, proponemos una receta centrada en datos para el preentrenamiento de LLMs conscientes de la visión y la verificamos en un preentrenamiento a escala de 1 billón de tokens. Nuestros hallazgos se basan en más de 100 experimentos controlados que consumieron 500,000 horas de GPU, abarcando toda la pipeline de construcción de MLLM—desde el preentrenamiento del LLM hasta la alineación visual y el ajuste fino multimodal supervisado—a través de cinco escalas de modelos, una amplia gama de categorías y mezclas de datos, y múltiples configuraciones de adaptación. Junto con nuestros hallazgos principales, proponemos e investigamos varias hipótesis, e introducimos el Multi-Level Existence Bench (MLE-Bench). En conjunto, este trabajo proporciona una nueva forma de cultivar deliberadamente conocimientos previos visuales a partir del preentrenamiento del lenguaje, allanando el camino para la próxima generación de LLMs multimodales.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.