Modalitätslücken-getriebenes Subraum-Ausrichtungstrainingsparadigma für multimodale Large Language Models

papers.abstract

Trotz des Erfolgs multimodalen kontrastiven Lernens bei der Ausrichtung visueller und linguistrischer Repräsentationen bleibt eine anhaltende geometrische Anomalie bestehen: die Modality Gap. Einbettungen verschiedener Modalitäten, die identische Semantik ausdrücken, besetzen systematisch versetzte Regionen. Bisherige Ansätze zur Überbrückung dieser Lücke sind weitgehend durch zu vereinfachende isotrope Annahmen eingeschränkt, was ihre Anwendung in großflächigen Szenarien behindert. In diesem Beitrag gehen wir auf diese Einschränkungen ein, indem wir die geometrische Form der Modality Gap präzise charakterisieren und sie für effizientes Modell-Scaling nutzbar machen. Zuerst schlagen wir die Fixed-frame Modality Gap Theory vor, die die Modality Gap innerhalb eines eingefrorenen Referenzrahmens in stabile Verzerrungen und anisotrope Residuen zerlegt. Angeleitet durch diese präzise Modellierung führen wir ReAlign ein, eine trainierungsfreie Modalitätsausrichtungsstrategie. Unter Nutzung von Statistiken aus massiven ungepaarten Daten richtet ReAlign Textrepräsentationen in die Verteilung der Bildrepräsentationen über einen dreistufigen Prozess aus, der Anchor-, Trace- und Centroid-Alignment umfasst und dadurch die geometrische Fehlausrichtung explizit korrigiert. Aufbauend auf ReAlign schlagen wir ReVision vor, ein skalierbares Trainingsparadigma für Multimodale Large Language Models (MLLMs). ReVision integriert ReAlign in die Pre-Training-Phase und ermöglicht es dem Modell, die Verteilung visueller Repräsentationen aus ungepaartem Text zu erlernen, noch bevor ein visuelles Instruction Tuning stattfindet – und dies ohne den Bedarf an großvolumigen, hochwertigen Bild-Text-Paaren. Unser Framework demonstriert, dass statistisch ausgerichtete, ungepaarte Daten teure Bild-Text-Paare effektiv ersetzen können und damit einen robusten Pfad für das effiziente Skalieren von MLLMs eröffnen.

English

Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.

Modalitätslücken-getriebenes Subraum-Ausrichtungstrainingsparadigma für multimodale Large Language Models

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

papers.abstract

Support