見る前に学ぶ：言語事前学習からLLMの視覚的プリオーを解明する

要旨

大規模言語モデル（LLMs）は、テキストのみで訓練されているにもかかわらず、驚くほど豊かな視覚的プライアーを発達させます。これらのプライアーにより、比較的少量のマルチモーダルデータで視覚タスクの潜在能力を解き放つことが可能になり、場合によっては、画像を見たことがなくても視覚タスクを実行できるようになります。系統的な分析を通じて、言語事前訓練中に獲得された視覚世界に関する暗黙的で創発的な知識である視覚的プライアーが、分離可能な知覚プライアーと推論プライアーで構成されており、それぞれ独自のスケーリング傾向と起源を持つことを明らかにします。LLMの潜在的な視覚推論能力は、主に推論中心のデータ（例：コード、数学、学術）の事前訓練によって発達し、段階的にスケールすることが示されています。言語事前訓練から獲得されたこの推論プライアーは、視覚推論に転用可能で普遍的に適用可能です。一方、知覚プライアーは広範なコーパスからより拡散的に創発し、知覚能力は視覚エンコーダーと視覚指示チューニングデータに対してより敏感です。並行して、視覚世界を記述するテキストは重要であることが証明されていますが、そのパフォーマンスへの影響は急速に飽和します。これらの洞察を活用して、視覚を意識したLLMの事前訓練のためのデータ中心のレシピを提案し、1Tトークンスケールの事前訓練で検証します。私たちの知見は、50万GPU時間を消費する100以上の制御実験に基づいており、LLMの事前訓練から視覚アラインメント、教師ありマルチモーダルファインチューニングまでの完全なMLLM構築パイプラインにわたる5つのモデルスケール、幅広いデータカテゴリと混合、および複数の適応設定を網羅しています。主な知見とともに、いくつかの仮説を提案し、Multi-Level Existence Bench（MLE-Bench）を紹介します。この研究全体を通じて、言語事前訓練から視覚的プライアーを意図的に育成する新しい方法を提供し、次世代のマルチモーダルLLMへの道を切り開きます。

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.

見る前に学ぶ：言語事前学習からLLMの視覚的プリオーを解明する

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

要旨

Support