Paradigma de Entrenamiento de Alineación de Subespacios Impulsado por la Brecha de Modalidad para Modelos de Lenguaje Grandes Multimodales

Resumen

A pesar del éxito del aprendizaje contrastivo multimodal en la alineación de representaciones visuales y lingüísticas, persiste una anomalía geométrica: la Brecha de Modalidad, donde los _embeddings_ de distintas modalidades que expresan semántica idéntica ocupan regiones sistemáticamente desplazadas. Los enfoques previos para salvar esta brecha están limitados en gran medida por suposiciones isotrópicas excesivamente simplificadas, lo que dificulta su aplicación en escenarios a gran escala. En este artículo, abordamos estas limitaciones caracterizando con precisión la forma geométrica de la brecha de modalidad y aprovechándola para un escalado eficiente de modelos. En primer lugar, proponemos la Teoría de la Brecha de Modalidad de Marco Fijo, que descompone la brecha de modalidad dentro de un marco de referencia congelado en sesgos estables y residuos anisotrópicos. Guiados por este modelado preciso, introducimos ReAlign, una estrategia de alineación de modalidades que no requiere entrenamiento. Utilizando estadísticas de datos masivos no pareados, ReAlign alinea la representación textual en la distribución de representación de imágenes mediante un proceso de tres pasos que comprende Alineación de Anclaje, Trazado y Centroide, rectificando así explícitamente el desalineamiento geométrico. Sobre la base de ReAlign, proponemos ReVision, un paradigma de entrenamiento escalable para Modelos de Lenguaje Grandes Multimodales (MLLM). ReVision integra ReAlign en la etapa de preentrenamiento, permitiendo que el modelo aprenda la distribución de las representaciones visuales a partir de texto no pareado antes del ajuste instruccional visual, sin necesidad de pares imagen-texto a gran escala y de alta calidad. Nuestro marco demuestra que los datos no pareados pero estadísticamente alineados pueden sustituir eficazmente a los costosos pares imagen-texto, ofreciendo un camino robusto para el escalado eficiente de los MLLM.

English

Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.

Paradigma de Entrenamiento de Alineación de Subespacios Impulsado por la Brecha de Modalidad para Modelos de Lenguaje Grandes Multimodales

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

Resumen

Support