Парадигма обучения выравниванию подпространств, основанная на преодолении модального разрыва, для мультимодальных больших языковых моделей

Аннотация

Несмотря на успехи мультимодального контрастного обучения в согласовании визуальных и лингвистических репрезентаций, сохраняется устойчивая геометрическая аномалия — Модальный Разрыв: эмбеддинги различных модальностей, выражающие идентичную семантику, занимают систематически смещенные области. Существующие подходы к преодолению этого раздела в значительной степени ограничены упрощенными изотропными предположениями, что затрудняет их применение в крупномасштабных сценариях. В данной работе мы преодолеваем эти ограничения за счет точного описания геометрической формы модального разрыва и его использования для эффективного масштабирования моделей. Во-первых, мы предлагаем Теорию Модального Разрыва с Фиксированным Каркасом, которая декомпозирует разрыв внутри замороженной системы отсчета на стабильные смещения и анизотропные остатки. Руководствуясь этой точной моделью, мы представляем ReAlign — стратегию согласования модальностей, не требующую дообучения. Используя статистику из массивных несопоставленных данных, ReAlign выравнивает текстовые репрезентации в распределение визуальных репрезентаций посредством трехэтапного процесса, включающего Якорное, Трассирующее и Центроидное Выравнивание, тем самым явно исправляя геометрическое рассогласование. На основе ReAlign мы предлагаем ReVision — масштабируемую парадигму обучения для Мультимодальных Больших Языковых Моделей (MLLM). ReVision интегрирует ReAlign на этап предварительного обучения, позволяя модели изучить распределение визуальных репрезентаций из несопоставленных текстов до визуального инструктивного тюнинга, без необходимости в крупномасштабных высококачественных парах «изображение-текст». Наша framework-демонстрирует, что статистически выровненные несопоставленные данные могут эффективно заменить дорогостоящие пары «изображение-текст», предлагая надежный путь для эффективного масштабирования MLLM.

English

Despite the success of multimodal contrastive learning in aligning visual and linguistic representations, a persistent geometric anomaly, the Modality Gap, remains: embeddings of distinct modalities expressing identical semantics occupy systematically offset regions. Prior approaches to bridge this gap are largely limited by oversimplified isotropic assumptions, hindering their application in large-scale scenarios. In this paper, we address these limitations by precisely characterizing the geometric shape of the modality gap and leveraging it for efficient model scaling. First, we propose the Fixed-frame Modality Gap Theory, which decomposes the modality gap within a frozen reference frame into stable biases and anisotropic residuals. Guided by this precise modeling, we introduce ReAlign, a training-free modality alignment strategy. Utilizing statistics from massive unpaired data, ReAlign aligns text representation into the image representation distribution via a three-step process comprising Anchor, Trace, and Centroid Alignment, thereby explicitly rectifying geometric misalignment. Building on ReAlign, we propose ReVision, a scalable training paradigm for Multimodal Large Language Models (MLLMs). ReVision integrates ReAlign into the pretraining stage, enabling the model to learn the distribution of visual representations from unpaired text before visual instruction tuning, without the need for large-scale, high-quality image-text pairs. Our framework demonstrates that statistically aligned unpaired data can effectively substitute for expensive image-text pairs, offering a robust path for the efficient scaling of MLLMs.

Парадигма обучения выравниванию подпространств, основанная на преодолении модального разрыва, для мультимодальных больших языковых моделей

Modality Gap-Driven Subspace Alignment Training Paradigm For Multimodal Large Language Models

Аннотация

Support