Обучение видеть до того, как увидеть: раскрытие визуальных априорных знаний в языковых моделях, полученных в ходе предварительного обучения

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

September 30, 2025

Авторы: Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

cs.AI

Аннотация

Крупные языковые модели (LLM), несмотря на обучение исключительно на текстовых данных, удивительным образом развивают богатые визуальные априорные знания. Эти априорные знания позволяют раскрыть скрытые визуальные способности для задач компьютерного зрения с использованием относительно небольшого объема мультимодальных данных, а в некоторых случаях — выполнять визуальные задачи, никогда не видев изображений. Благодаря систематическому анализу мы выяснили, что визуальные априорные знания — неявное, возникающее знание о визуальном мире, приобретенное в ходе предварительного обучения на языковых данных, — состоят из разделяемых априорных знаний о восприятии и рассуждении, которые имеют уникальные тенденции масштабирования и источники. Мы показываем, что скрытая способность LLM к визуальному рассуждению в основном развивается за счет предварительного обучения на данных, ориентированных на рассуждения (например, код, математика, академические тексты), и прогрессивно масштабируется. Это априорное знание, приобретенное в ходе языкового предварительного обучения, является переносимым и универсально применимым для визуального рассуждения. В отличие от этого, априорное знание о восприятии возникает более диффузно из широких корпусов текстов, а способность к восприятию более чувствительна к визуальному кодировщику и данным для настройки визуальных инструкций. Параллельно текст, описывающий визуальный мир, оказывается крайне важным, хотя его влияние на производительность быстро насыщается. Используя эти инсайты, мы предлагаем подход, ориентированный на данные, для предварительного обучения LLM с учетом визуальных аспектов и проверяем его на масштабе предварительного обучения с 1 триллионом токенов. Наши выводы основаны на более чем 100 контролируемых экспериментах, потребовавших 500 000 GPU-часов, охватывающих весь процесс создания мультимодальных языковых моделей (MLLM) — от предварительного обучения LLM до визуального выравнивания и контролируемой мультимодальной тонкой настройки — на пяти масштабах моделей, широком спектре категорий и смесей данных, а также множестве настроек адаптации. Наряду с основными результатами мы предлагаем и исследуем несколько гипотез, а также представляем бенчмарк Multi-Level Existence Bench (MLE-Bench). В совокупности эта работа предлагает новый способ целенаправленного формирования визуальных априорных знаний из языкового предварительного обучения, прокладывая путь к следующему поколению мультимодальных LLM.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.