Рангово-учитывающее гиперболическое выравнивание для дистилляции визуально-языкового набора данных

Аннотация

Дистилляция наборов данных «зрение-язык» (VLDD) сжимает большой парный набор данных изображение-текст в небольшой набор синтетических пар, которые могут эффективно обучать контрастивные модели «зрение-язык» при строгих бюджетах данных и вычислений. Большинство существующих методов сопоставляют экспертные траектории или кросомодальные статистики, но при этом по-прежнему накладывают полномерное выравнивание в евклидовом пространстве вложений. Это часто является чрезмерно ограничительным из-за корреляции изображение-текст с дефицитом ранга, при которой общая семантика сосредоточена в низкоразмерном подпространстве, а оставшаяся вариативность распределена по слабо коррелированному остаточному подпространству. LoRS ослабляет выравнивание на уровне сходства с помощью факторизации низкого ранга, но не контролирует явно доминирующую способность и структуру выравнивания в пространстве представлений. Таким образом, мы предлагаем рангово-осознанное гиперболическое выравнивание (RAHA), которое объединяет иерархическую геометрию с явным контролем способности выравнивания. RAHA поднимает мультимодальные представления в гиперболическое пространство и оптимизирует дистиллированные пары с помощью асимметричных целевых функций, которые накладывают геодезическое выравнивание в общем подпространстве, одновременно регуляризируя остаточное подпространство для сохранения внутримодального разнообразия и повышения устойчивости к переносу. Эксперименты на бенчмарках показывают, что RAHA демонстрирует конкурентоспособный кросомодальный поиск и улучшенные показатели переноса при фиксированных бюджетах.

English

Vision-language dataset distillation (VLDD) compresses a large image-text paired dataset into a small set of synthetic pairs that can efficiently train contrastive vision-language models under strict data and compute budgets. Most existing methods match expert trajectories or cross-modal statistics, yet still enforce full-dimensional alignment in a Euclidean embedding space. This is often overly restrictive due to rank-deficient image--text correlation, with shared semantics concentrated in a low-dimensional range and remaining variation spread across a weakly correlated residual subspace. LoRS relaxes alignment at the similarity level by low-rank factorization, but does not explicitly control dominant alignment capacity and structure in the representation space. We thus propose a rank-aware hyperbolic alignment (RAHA) that combines hierarchical geometry with explicit alignment-capacity control. RAHA lifts multimodal representations to hyperbolic space and optimizes distilled pairs with asymmetric objectives that enforce geodesic alignment in the shared range while regularizing the residual subspace to preserve modality-private diversity and improve transfer robustness. Experiments on benchmarks show that RAHA demonstrates competitive cross-modal retrieval and improved transfer indicators under fixed budgets.