처음부터 네이티브 멀티모달 사전 학습 확장하기

초록

대규모 언어 모델(LLM)은 뛰어난 추론 능력을 보여주지만, 텍스트 전용 사전 학습에 의존하기 때문에 다중 모달 물리적 세계에 대한 인식이 제한된다. 네이티브 다중 모달 사전 학습은 모델을 처음부터 다중 모달 입력에 대해 학습시킴으로써 이러한 한계를 극복하며, 이를 통해 깊은 교차 모달 통합을 달성하고 기존의 후기 융합 아키텍처에 내재된 최적화 비대칭성을 완화한다. 이러한 장점에도 불구하고, 이 패러다임의 스케일링 특성은 체계적으로 규명되지 않았다. 이러한 격차를 해소하기 위해, 본 연구에서는 고정된 계산 예산 하에서 트랜스포머 기반 시각-언어 모델을 학습하기 위한 최적의 모델 크기와 토큰 수를 조사한다. 최소 목표 손실이 예측 가능한 계산 법칙을 따르는 반면, 계산 최적 모델 크기와 토큰 수는 멱법칙으로 스케일링됨을 입증한다. 특히, 언어 및 다중 모달 목적 함수는 뚜렷한 스케일링 행동을 보인다. 언어 할당 법칙은 데이터 구성에 대해 대체로 불변하며, 이는 다중 모달 데이터 비율과 관계없이 안정적인 언어 학습을 나타낸다. 반면, 다중 모달 할당 법칙은 데이터 구성에 매우 민감하다. 구체적으로, 텍스트가 많은 혼합은 더 큰 모델 규모에서만 계산 효율적이게 되어 최적 자원 할당이 더 큰 모델 용량으로 이동한다. 또한, 데이터 구성이 계산 법칙 및 할당 지수에 미치는 영향을 모델링함으로써, 모델 크기, 토큰 수 및 데이터 혼합의 정확한 구성을 명시하는 효율 경계를 도출한다. 하류 평가 결과는 네이티브 다중 모달 사전 학습이 긍정적인 교차 모달 전이를 유도하여 순수 텍스트 공간 추론을 향상시키고 강건한 다중 모달 맥락 내 학습을 가능하게 함을 추가로 보여준다. 요약하면, 본 실증 연구는 다중 모달 기초 모델을 예측 가능하게 스케일링하기 위한 필수적인 기반을 마련한다.

English

Although large language models (LLMs) exhibit remarkable reasoning capabilities, their reliance on text-only pre-training restricts the perception of the multimodal physical world. Native multimodal pre-training avoids this limitation by training models from scratch on multimodal inputs, thereby achieving deep cross-modal integration and mitigating optimization asymmetries inherent to traditional late-fusion architectures. Despite these advantages, the scaling properties of this paradigm remain systematically uncharacterized. To address this gap, we investigate the optimal model size and token count for training a transformer-based vision-language model under a fixed computational budget. We demonstrate that minimal objective loss adheres to a predictable compute law, whereas compute-optimal model sizes and token counts scale as power laws. Notably, language and multimodal objectives manifest distinct scaling behaviors. The language allocation law is largely invariant to the composition of the data, indicating stable language learning regardless of the multimodal data ratio. Conversely, the multimodal allocation law is highly sensitive to this composition. Specifically, text-heavy mixtures become compute-efficient only at larger model scales, shifting the optimal resource allocation toward greater model capacity. Additionally, by modeling the influence of data composition on compute laws and allocation exponents, we derive an efficiency frontier specifying precise configurations of model size, token count, and data mixture. Downstream evaluations further reveal that native multimodal pre-training induces positive cross-modal transfer, thereby enhancing pure-text spatial reasoning and enabling robust multimodal in-context learning. In summary, this empirical research establishes the essential groundwork for predictably scaling multimodal foundation models.