Modality Gap-Gedreven Subruimte-Uitlijning Trainingsparadigma Voor Multimodale Grote Taalmodellen

Samenvatting

Ondanks het succes van multimodale contrastieve leermethoden bij het afstemmen van visuele en linguïstische representaties, blijft een hardnekkige geometrische anomalie bestaan: de Modality Gap. Embeddings van verschillende modaliteiten die identieke semantiek uitdrukken, bevinden zich in systematisch verschoven regio's. Eerdere benaderingen om deze kloof te overbruggen, worden grotendeels beperkt door oversimplistische isotrope aannames, wat hun toepassing in grootschalige scenario's belemmert. In dit artikel gaan we deze beperkingen te lijf door de geometrische vorm van de modality gap precies te karakteriseren en deze te benutten voor efficiënte modelschaling. Ten eerste stellen we de Fixed-frame Modality Gap Theorie voor, die de modality gap binnen een bevroren referentiekader ontbindt in stabiele biases en anisotrope residuen. Geleid door deze precieze modellering introduceren we ReAlign, een trainingsvrije strategie voor modality-alignment. ReAlign gebruikt statistieken uit enorme hoeveelheden ongepaarde data om tekstrepresentaties af te stemmen op de distributie van beeldrepresentaties via een drie-stappen proces bestaande uit Anchor, Trace en Centroid Alignment, waardoor de geometrische misalignering expliciet wordt gecorrigeerd. Voortbouwend op ReAlign stellen we ReVision voor, een schaalbaar trainingsparadigma voor Multimodale Large Language Models (MLLMs). ReVision integreert ReAlign in de pre-trainingsfase, waardoor het model de distributie van visuele representaties kan leren uit ongepaarde tekst vóór visuele instruction tuning, zonder afhankelijk te zijn van grootschalige, hoogwaardige beeld-tekst paren. Ons framework toont aan dat statistisch gealigneerde ongepaarde data effectief de dure beeld-tekst paren kunnen vervangen, wat een robuust pad biedt voor de efficiënte schaling van MLLMs.

English

Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.

Modality Gap-Gedreven Subruimte-Uitlijning Trainingsparadigma Voor Multimodale Grote Taalmodellen

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

Samenvatting

Support