スクラッチからのネイティブマルチモーダル事前学習のスケーリング

要旨

大規模言語モデル（LLM）は顕著な推論能力を示すものの、テキストのみの事前学習に依存しているため、マルチモーダルな物理世界の認識に制約が生じる。ネイティブなマルチモーダル事前学習は、マルチモーダル入力に対してモデルをスクラッチから訓練することでこの制約を回避し、深いクロスモーダル統合を実現するとともに、従来の後期融合アーキテクチャに内在する最適化の非対称性を緩和する。これらの利点にもかかわらず、このパラダイムのスケーリング特性は体系的に特徴づけられていない。このギャップを埋めるため、我々は固定された計算予算のもとでトランスフォーマーベースの視覚言語モデルを訓練する際の最適なモデルサイズとトークン数を調査する。最小目的損失は予測可能な計算則に従う一方、計算最適なモデルサイズとトークン数はべき乗則に従ってスケーリングすることを示す。特に、言語とマルチモーダルの目的関数は異なるスケーリング挙動を示す。言語配分則はデータの構成に対してほぼ不変であり、マルチモーダルデータの比率によらず安定した言語学習を示唆する。対照的に、マルチモーダル配分則はこの構成に非常に敏感である。具体的には、テキスト中心の混合データは大規模モデルでのみ計算効率が向上し、より大きなモデル容量への最適リソース配分をシフトさせる。さらに、データ構成が計算則と配分指数に与える影響をモデル化することで、モデルサイズ、トークン数、およびデータ混合の正確な構成を指定する効率フロンティアを導出する。下流評価ではさらに、ネイティブなマルチモーダル事前学習が正のクロスモーダル転移を誘発し、純粋テキストの空間推論を強化するとともに、頑健なマルチモーダル文脈内学習を可能にすることを明らかにする。要約すると、この実証研究はマルチモーダル基盤モデルを予測可能にスケーリングするための基本的な基盤を確立する。

English

Although large language models (LLMs) exhibit remarkable reasoning capabilities, their reliance on text-only pre-training restricts the perception of the multimodal physical world. Native multimodal pre-training avoids this limitation by training models from scratch on multimodal inputs, thereby achieving deep cross-modal integration and mitigating optimization asymmetries inherent to traditional late-fusion architectures. Despite these advantages, the scaling properties of this paradigm remain systematically uncharacterized. To address this gap, we investigate the optimal model size and token count for training a transformer-based vision-language model under a fixed computational budget. We demonstrate that minimal objective loss adheres to a predictable compute law, whereas compute-optimal model sizes and token counts scale as power laws. Notably, language and multimodal objectives manifest distinct scaling behaviors. The language allocation law is largely invariant to the composition of the data, indicating stable language learning regardless of the multimodal data ratio. Conversely, the multimodal allocation law is highly sensitive to this composition. Specifically, text-heavy mixtures become compute-efficient only at larger model scales, shifting the optimal resource allocation toward greater model capacity. Additionally, by modeling the influence of data composition on compute laws and allocation exponents, we derive an efficiency frontier specifying precise configurations of model size, token count, and data mixture. Downstream evaluations further reveal that native multimodal pre-training induces positive cross-modal transfer, thereby enhancing pure-text spatial reasoning and enabling robust multimodal in-context learning. In summary, this empirical research establishes the essential groundwork for predictably scaling multimodal foundation models.