Paradigma de Treinamento de Alinhamento de Subespaço Orientado pela Lacuna de Modalidade para Modelos de Linguagem Multimodais de Grande Escala

Resumo

Apesar do sucesso da aprendizagem contrastiva multimodal no alinhamento de representações visuais e linguísticas, uma anomalia geométrica persistente, o Hiato de Modalidade, permanece: incorporações de modalidades distintas que expressam semânticas idênticas ocupam regiões sistematicamente deslocadas. As abordagens anteriores para reduzir este hiato são largamente limitadas por suposições isotrópicas excessivamente simplificadas, dificultando sua aplicação em cenários de larga escala. Neste artigo, abordamos estas limitações caracterizando precisamente a forma geométrica do hiato de modalidade e aproveitando-a para uma escalagem eficiente de modelos. Primeiro, propomos a Teoria do Hiato de Modalidade com Referencial Fixo, que decompõe o hiato de modalidade dentro de um referencial congelado em vieses estáveis e resíduos anisotrópicos. Guiados por esta modelagem precisa, introduzimos o ReAlign, uma estratégia de alinhamento modal livre de treinamento. Utilizando estatísticas de dados massivos não pareados, o ReAlign alinha a representação textual na distribuição de representação de imagem através de um processo de três etapas compreendendo o Alinhamento de Âncora, Traço e Centróide, retificando assim explicitamente o desalinhamento geométrico. Com base no ReAlign, propomos o ReVision, um paradigma de treinamento escalável para Modelos de Linguagem Multimodais de Grande Escala (MLLMs). O ReVision integra o ReAlign na fase de pré-treinamento, permitindo que o modelo aprenda a distribuição das representações visuais a partir de texto não pareado antes do ajuste fino por instrução visual, sem a necessidade de pares imagem-texto em larga escala e de alta qualidade. Nosso framework demonstra que dados não pareados estatisticamente alinhados podem substituir efetivamente os dispendiosos pares imagem-texto, oferecendo um caminho robusto para a escalagem eficiente de MLLMs.

English

Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.

Paradigma de Treinamento de Alinhamento de Subespaço Orientado pela Lacuna de Modalidade para Modelos de Linguagem Multimodais de Grande Escala

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

Resumo

Support