視覚-言語データセット蒸留のためのランク認識型双曲的アライメント

要旨

ビジョン・ランゲージデータセット蒸留（VLDD）は、大規模な画像とテキストのペアデータセットを少数の合成ペアに圧縮し、厳しいデータおよび計算予算の下で対照的視覚言語モデルを効率的に訓練できるようにする。既存の手法のほとんどは、専門家の軌跡やクロスモーダル統計量を照合するが、それでもなおユークリッド埋め込み空間において全次元的なアラインメントを強制する。これは、画像とテキストの相関がランク不足であるために過度に制約的となることが多く、共有される意味は低次元の範囲に集中し、残りの変動は弱く相関した残差部分空間に広がっている。LoRSは低ランク分解により類似度レベルでアラインメントを緩和するが、表現空間における支配的なアラインメント能力と構造を明示的に制御しない。そこで我々は、階層的幾何学と明示的なアラインメント能力制御を組み合わせたランク認識双曲アラインメント（RAHA）を提案する。RAHAはマルチモーダル表現を双曲空間に引き上げ、蒸留ペアを非対称な目的関数で最適化する。これにより、共有範囲では測地線的アラインメントを強制し、残差部分空間を正則化してモダリティ固有の多様性を保持し、転移ロバスト性を向上させる。ベンチマーク実験により、RAHAが固定予算下で競争力のあるクロスモーダル検索と改善された転移指標を示すことが明らかになった。

English

Vision-language dataset distillation (VLDD) compresses a large image-text paired dataset into a small set of synthetic pairs that can efficiently train contrastive vision-language models under strict data and compute budgets. Most existing methods match expert trajectories or cross-modal statistics, yet still enforce full-dimensional alignment in a Euclidean embedding space. This is often overly restrictive due to rank-deficient image--text correlation, with shared semantics concentrated in a low-dimensional range and remaining variation spread across a weakly correlated residual subspace. LoRS relaxes alignment at the similarity level by low-rank factorization, but does not explicitly control dominant alignment capacity and structure in the representation space. We thus propose a rank-aware hyperbolic alignment (RAHA) that combines hierarchical geometry with explicit alignment-capacity control. RAHA lifts multimodal representations to hyperbolic space and optimizes distilled pairs with asymmetric objectives that enforce geodesic alignment in the shared range while regularizing the residual subspace to preserve modality-private diversity and improve transfer robustness. Experiments on benchmarks show that RAHA demonstrates competitive cross-modal retrieval and improved transfer indicators under fixed budgets.