Rangbewusste hyperbolische Ausrichtung zur Destillation von Vision-Language-Datensätzen

Zusammenfassung

Vision-Language-Datensatzdestillation (VLDD) komprimiert einen großen Datensatz aus Bild-Text-Paaren in eine kleine Menge synthetischer Paare, die unter strengen Daten- und Rechenbudgets effizient kontrastive Vision-Language-Modelle trainieren können. Die meisten existierenden Methoden gleichen Expertenverläufe oder modalitätsübergreifende Statistiken ab, erzwingen jedoch weiterhin eine vollständige Dimensionsanpassung in einem euklidischen Einbettungsraum. Dies ist aufgrund rangdefizitärer Bild-Text-Korrelation oft übermäßig restriktiv, da die gemeinsame Semantik in einem niedrigdimensionalen Bereich konzentriert ist und die verbleibende Variation über einen schwach korrelierten Residuenunterraum verteilt ist. LoRS lockert die Ausrichtung auf Ähnlichkeitsebene durch Niedrigrangfaktorisierung, kontrolliert jedoch nicht explizit die dominante Ausrichtungskapazität und -struktur im Darstellungsraum. Daher schlagen wir eine rangbewusste hyperbolische Ausrichtung (RAHA) vor, die hierarchische Geometrie mit expliziter Kontrolle der Ausrichtungskapazität kombiniert. RAHA hebt multimodale Darstellungen in den hyperbolischen Raum an und optimiert destillierte Paare mit asymmetrischen Zielen, die eine geodätische Ausrichtung im gemeinsamen Bereich erzwingen, während der Residuenunterraum regularisiert wird, um modalitätsspezifische Diversität zu bewahren und die Transferrobustheit zu verbessern. Experimente auf Benchmark-Datensätzen zeigen, dass RAHA unter festen Budgets wettbewerbsfähiges cross-modales Retrieval und verbesserte Transferindikatoren aufweist.

English

Vision-language dataset distillation (VLDD) compresses a large image-text paired dataset into a small set of synthetic pairs that can efficiently train contrastive vision-language models under strict data and compute budgets. Most existing methods match expert trajectories or cross-modal statistics, yet still enforce full-dimensional alignment in a Euclidean embedding space. This is often overly restrictive due to rank-deficient image--text correlation, with shared semantics concentrated in a low-dimensional range and remaining variation spread across a weakly correlated residual subspace. LoRS relaxes alignment at the similarity level by low-rank factorization, but does not explicitly control dominant alignment capacity and structure in the representation space. We thus propose a rank-aware hyperbolic alignment (RAHA) that combines hierarchical geometry with explicit alignment-capacity control. RAHA lifts multimodal representations to hyperbolic space and optimizes distilled pairs with asymmetric objectives that enforce geodesic alignment in the shared range while regularizing the residual subspace to preserve modality-private diversity and improve transfer robustness. Experiments on benchmarks show that RAHA demonstrates competitive cross-modal retrieval and improved transfer indicators under fixed budgets.