보기 전에 보는 법 배우기: 언어 사전 학습에서의 대형 언어 모델 시각적 사전 지식 해명

초록

대규모 언어 모델(LLMs)은 텍스트만으로 훈련되었음에도 불구하고, 놀랍게도 풍부한 시각적 사전 지식을 발전시킵니다. 이러한 사전 지식은 상대적으로 적은 양의 다중 모달 데이터로도 시각 작업을 위한 잠재적 시각 능력을 해제할 수 있게 하며, 어떤 경우에는 이미지를 본 적 없이도 시각 작업을 수행할 수 있게 합니다. 체계적인 분석을 통해, 우리는 언어 사전 훈련 중 획득된 시각 세계에 대한 암묵적이고 창발적인 지식인 시각적 사전 지식이 독특한 확장 경향과 기원을 가진 분리 가능한 지각 및 추론 사전 지식으로 구성되어 있음을 밝혔습니다. 우리는 LLM의 잠재적 시각 추론 능력이 주로 추론 중심 데이터(예: 코드, 수학, 학문)에 대한 사전 훈련에 의해 발전하며 점진적으로 확장됨을 보여줍니다. 언어 사전 훈련에서 획득된 이 추론 사전 지식은 전이 가능하며 시각적 추론에 보편적으로 적용될 수 있습니다. 반면, 지각 사전 지식은 광범위한 코퍼스에서 더 확산적으로 나타나며, 지각 능력은 시각 인코더와 시각적 지시 튜닝 데이터에 더 민감합니다. 동시에, 시각 세계를 설명하는 텍스트는 중요하지만 그 성능 영향은 빠르게 포화됩니다. 이러한 통찰을 활용하여, 우리는 시각 인식 LLM을 사전 훈련하기 위한 데이터 중심의 레시피를 제안하고 이를 1조 토큰 규모의 사전 훈련에서 검증합니다. 우리의 발견은 500,000 GPU-시간을 소비한 100개 이상의 통제된 실험에 기반하며, LLM 사전 훈련부터 시각 정렬 및 지도 다중 모달 미세 조정에 이르는 전체 MLLM 구축 파이프라인을 아우르며, 다섯 가지 모델 규모, 다양한 데이터 범주 및 혼합, 그리고 여러 적응 설정을 포함합니다. 주요 발견과 함께, 우리는 여러 가설을 제안하고 검증하며, 다단계 존재 벤치(MLE-Bench)를 소개합니다. 이 작업은 언어 사전 훈련에서 시각적 사전 지식을 의도적으로 육성하는 새로운 방법을 제공함으로써, 차세대 다중 모달 LLM의 길을 열어줍니다.

English

Large Language Models (LLMs), despite being trained on text alone, surprisingly develop rich visual priors. These priors allow latent visual capabilities to be unlocked for vision tasks with a relatively small amount of multimodal data, and in some cases, to perform visual tasks without ever having seen an image. Through systematic analysis, we reveal that visual priors-the implicit, emergent knowledge about the visual world acquired during language pre-training-are composed of separable perception and reasoning priors with unique scaling trends and origins. We show that an LLM's latent visual reasoning ability is predominantly developed by pre-training on reasoning-centric data (e.g., code, math, academia) and scales progressively. This reasoning prior acquired from language pre-training is transferable and universally applicable to visual reasoning. In contrast, a perception prior emerges more diffusely from broad corpora, and perception ability is more sensitive to the vision encoder and visual instruction tuning data. In parallel, text describing the visual world proves crucial, though its performance impact saturates rapidly. Leveraging these insights, we propose a data-centric recipe for pre-training vision-aware LLMs and verify it in 1T token scale pre-training. Our findings are grounded in over 100 controlled experiments consuming 500,000 GPU-hours, spanning the full MLLM construction pipeline-from LLM pre-training to visual alignment and supervised multimodal fine-tuning-across five model scales, a wide range of data categories and mixtures, and multiple adaptation setups. Along with our main findings, we propose and investigate several hypotheses, and introduce the Multi-Level Existence Bench (MLE-Bench). Together, this work provides a new way of deliberately cultivating visual priors from language pre-training, paving the way for the next generation of multimodal LLMs.

보기 전에 보는 법 배우기: 언어 사전 학습에서의 대형 언어 모델 시각적 사전 지식 해명

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

초록

Support