Aprendendo a Ver Antes de Ver: Desmistificando os Priores Visuais de LLMs a partir do Pré-treinamento em Linguagem

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

September 30, 2025

Autores: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

cs.AI

Resumo

Os Modelos de Linguagem de Grande Escala (LLMs), apesar de serem treinados apenas com texto, desenvolvem surpreendentemente ricos conhecimentos prévios visuais. Esses conhecimentos permitem que capacidades visuais latentes sejam desbloqueadas para tarefas de visão com uma quantidade relativamente pequena de dados multimodais e, em alguns casos, que realizem tarefas visuais sem nunca terem visto uma imagem. Através de uma análise sistemática, revelamos que os conhecimentos prévios visuais — o conhecimento implícito e emergente sobre o mundo visual adquirido durante o pré-treinamento de linguagem — são compostos por conhecimentos prévios de percepção e raciocínio separáveis, com tendências de escalonamento e origens únicas. Mostramos que a capacidade de raciocínio visual latente de um LLM é predominantemente desenvolvida pelo pré-treinamento em dados centrados em raciocínio (por exemplo, código, matemática, academia) e escala progressivamente. Esse conhecimento prévio de raciocínio adquirido no pré-treinamento de linguagem é transferível e universalmente aplicável ao raciocínio visual. Em contraste, um conhecimento prévio de percepção emerge de forma mais difusa de corpora amplos, e a capacidade de percepção é mais sensível ao codificador visual e aos dados de ajuste fino com instruções visuais. Paralelamente, o texto que descreve o mundo visual prova ser crucial, embora seu impacto no desempenho sature rapidamente. Aproveitando esses insights, propomos uma abordagem centrada em dados para o pré-treinamento de LLMs conscientes da visão e a verificamos em um pré-treinamento em escala de 1 trilhão de tokens. Nossas descobertas são fundamentadas em mais de 100 experimentos controlados que consumiram 500.000 horas de GPU, abrangendo todo o pipeline de construção de MLLM — desde o pré-treinamento do LLM até o alinhamento visual e o ajuste fino supervisionado multimodal — em cinco escalas de modelo, uma ampla gama de categorias e misturas de dados, e múltiplas configurações de adaptação. Junto com nossas principais descobertas, propomos e investigamos várias hipóteses e introduzimos o Multi-Level Existence Bench (MLE-Bench). Juntos, este trabalho fornece uma nova maneira de cultivar deliberadamente conhecimentos prévios visuais a partir do pré-treinamento de linguagem, abrindo caminho para a próxima geração de LLMs multimodais.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.