Alignement hyperbolique sensible au rang pour la distillation de jeux de données vision-langage

Résumé

La distillation de jeux de données vision-langage (VLDD) compresse un grand ensemble de paires image-texte en un petit ensemble de paires synthétiques capables d’entraîner efficacement des modèles contrastifs vision-langage sous des budgets stricts de données et de calcul. La plupart des méthodes existantes apparient les trajectoires d’experts ou les statistiques cross-modales, mais imposent encore un alignement pleine dimension dans un espace de plongement euclidien. Cette approche est souvent trop restrictive en raison de la corrélation image-texte de rang déficient, où la sémantique partagée se concentre dans un domaine de faible dimension et la variation restante se répartit dans un sous-espace résiduel faiblement corrélé. LoRS relâche l’alignement au niveau de la similarité par factorisation de bas rang, mais ne contrôle pas explicitement la capacité et la structure d’alignement dominantes dans l’espace de représentation. Nous proposons donc un alignement hyperbolique conscient du rang (RAHA) qui combine une géométrie hiérarchique avec un contrôle explicite de la capacité d’alignement. RAHA élève les représentations multimodales dans l’espace hyperbolique et optimise les paires distillées avec des objectifs asymétriques qui imposent un alignement géodésique dans le domaine partagé tout en régularisant le sous-espace résiduel pour préserver la diversité privée à la modalité et améliorer la robustesse au transfert. Des expériences sur des références montrent que RAHA démontre une récupération cross-modale compétitive et des indicateurs de transfert améliorés sous des budgets fixes.

English

Vision-language dataset distillation (VLDD) compresses a large image-text paired dataset into a small set of synthetic pairs that can efficiently train contrastive vision-language models under strict data and compute budgets. Most existing methods match expert trajectories or cross-modal statistics, yet still enforce full-dimensional alignment in a Euclidean embedding space. This is often overly restrictive due to rank-deficient image--text correlation, with shared semantics concentrated in a low-dimensional range and remaining variation spread across a weakly correlated residual subspace. LoRS relaxes alignment at the similarity level by low-rank factorization, but does not explicitly control dominant alignment capacity and structure in the representation space. We thus propose a rank-aware hyperbolic alignment (RAHA) that combines hierarchical geometry with explicit alignment-capacity control. RAHA lifts multimodal representations to hyperbolic space and optimizes distilled pairs with asymmetric objectives that enforce geodesic alignment in the shared range while regularizing the residual subspace to preserve modality-private diversity and improve transfer robustness. Experiments on benchmarks show that RAHA demonstrates competitive cross-modal retrieval and improved transfer indicators under fixed budgets.