Alineación hiperbólica consciente del rango para la destilación de conjuntos de datos de visión-lenguaje

Resumen

La destilación de conjuntos de datos de visión y lenguaje (VLDD) comprime un gran conjunto de datos emparejados de imagen y texto en un pequeño conjunto de pares sintéticos que pueden entrenar eficientemente modelos contrastivos de visión y lenguaje bajo presupuestos estrictos de datos y cómputo. La mayoría de los métodos existentes equiparan trayectorias de expertos o estadísticas multimodales, pero aún imponen una alineación de dimensión completa en un espacio de incrustación euclidiano. Esto suele ser excesivamente restrictivo debido a la correlación deficiente en rango entre imagen y texto, donde la semántica compartida se concentra en un rango de baja dimensión y la variación restante se distribuye en un subespacio residual débilmente correlacionado. LoRS relaja la alineación a nivel de similitud mediante factorización de bajo rango, pero no controla explícitamente la capacidad de alineación dominante y la estructura en el espacio de representación. Por lo tanto, proponemos una alineación hiperbólica consciente del rango (RAHA) que combina geometría jerárquica con control explícito de la capacidad de alineación. RAHA eleva las representaciones multimodales al espacio hiperbólico y optimiza pares destilados con objetivos asimétricos que imponen una alineación geodésica en el rango compartido, mientras regulariza el subespacio residual para preservar la diversidad privada de cada modalidad y mejorar la robustez de la transferencia. Los experimentos en puntos de referencia muestran que RAHA demuestra una recuperación multimodal competitiva e indicadores de transferencia mejorados bajo presupuestos fijos.

English

Vision-language dataset distillation (VLDD) compresses a large image-text paired dataset into a small set of synthetic pairs that can efficiently train contrastive vision-language models under strict data and compute budgets. Most existing methods match expert trajectories or cross-modal statistics, yet still enforce full-dimensional alignment in a Euclidean embedding space. This is often overly restrictive due to rank-deficient image--text correlation, with shared semantics concentrated in a low-dimensional range and remaining variation spread across a weakly correlated residual subspace. LoRS relaxes alignment at the similarity level by low-rank factorization, but does not explicitly control dominant alignment capacity and structure in the representation space. We thus propose a rank-aware hyperbolic alignment (RAHA) that combines hierarchical geometry with explicit alignment-capacity control. RAHA lifts multimodal representations to hyperbolic space and optimizes distilled pairs with asymmetric objectives that enforce geodesic alignment in the shared range while regularizing the residual subspace to preserve modality-private diversity and improve transfer robustness. Experiments on benchmarks show that RAHA demonstrates competitive cross-modal retrieval and improved transfer indicators under fixed budgets.