비전-언어 데이터셋 증류를 위한 순위 인식 쌍곡 정렬

초록

비전-언어 데이터셋 증류(VLDD)는 대규모 이미지-텍스트 쌍 데이터셋을 소규모 합성 쌍으로 압축하여, 엄격한 데이터 및 계산 예산 하에서 대조적 비전-언어 모델을 효율적으로 학습할 수 있게 한다. 대부분의 기존 방법은 전문가 궤적이나 교차 모달 통계를 일치시키지만, 여전히 유클리드 임베딩 공간에서 전차원 정렬을 강제한다. 이는 랭크 부족한 이미지-텍스트 상관관계로 인해 종종 지나치게 제한적이며, 공유 의미는 저차원 범위에 집중되고 나머지 변동은 약한 상관 관계를 가진 잔차 부분공간에 분산된다. LoRS는 저랭크 분해를 통해 유사도 수준에서 정렬을 완화하지만, 표현 공간에서 지배적인 정렬 용량과 구조를 명시적으로 제어하지는 않는다. 따라서 우리는 계층적 기하학과 명시적 정렬 용량 제어를 결합한 랭크 인식 쌍곡선 정렬(RAHA)을 제안한다. RAHA는 다중 모달 표현을 쌍곡선 공간으로 끌어올리고, 공유 범위에서 측지선 정렬을 강제하는 비대칭 목적 함수로 증류 쌍을 최적화하며, 잔차 부분공간을 정규화하여 모달리티 고유 다양성을 보존하고 전이 견고성을 향상시킨다. 벤치마크 실험은 RAHA가 고정 예산 하에서 경쟁력 있는 교차 모달 검색과 개선된 전이 지표를 보여줌을 입증한다.

English

Vision-language dataset distillation (VLDD) compresses a large image-text paired dataset into a small set of synthetic pairs that can efficiently train contrastive vision-language models under strict data and compute budgets. Most existing methods match expert trajectories or cross-modal statistics, yet still enforce full-dimensional alignment in a Euclidean embedding space. This is often overly restrictive due to rank-deficient image--text correlation, with shared semantics concentrated in a low-dimensional range and remaining variation spread across a weakly correlated residual subspace. LoRS relaxes alignment at the similarity level by low-rank factorization, but does not explicitly control dominant alignment capacity and structure in the representation space. We thus propose a rank-aware hyperbolic alignment (RAHA) that combines hierarchical geometry with explicit alignment-capacity control. RAHA lifts multimodal representations to hyperbolic space and optimizes distilled pairs with asymmetric objectives that enforce geodesic alignment in the shared range while regularizing the residual subspace to preserve modality-private diversity and improve transfer robustness. Experiments on benchmarks show that RAHA demonstrates competitive cross-modal retrieval and improved transfer indicators under fixed budgets.