ViQ: Textabgestimmte visuelle quantisierte Darstellungen bei beliebiger Auflösung

Zusammenfassung

Eine einheitliche Repräsentation für Text und Vision ist ein natürliches Bestreben, da sie einfachere multimodale Modellierung und effizienteres Training ermöglicht. Die Darstellung von Bildern als diskrete Signale in derselben Weise wie Text führt jedoch zwangsläufig zu schwerwiegendem Informationsverlust. Bisherige Arbeiten haben Schwierigkeiten, niedrigstufige Details und hochstufige Semantik in diskreten Repräsentationen auszugleichen: rekonstruktionsorientierte Repräsentationen entbehren oft semantischer Informationen, während semantisch stärkere Merkmale typischerweise unter starkem Detailverlust leiden. Wir präsentieren ViQ, ein Framework für visuelle quantisierte Repräsentationen (Visual Quantized Representations), das darauf ausgelegt ist, Semantik und Details in diskreten Repräsentationen auszugleichen und gleichzeitig Eingaben in nativen Auflösungen zu unterstützen, wodurch es als einheitliche und allgemeine diskrete Repräsentation für beliebige visuelle Eingaben dienen kann. Unser Ansatz strukturiert das Quantisierungslernen in zwei Phasen: textausgerichtetes Vortraining und Merkmalsdiskreitisierung. Durch textausgerichtetes Vortraining verbessern wir die semantisch reichhaltige Überwachung des visuellen Encoders durch das vortrainierte Sprachmodell und befähigen ihn, visuelle Eingaben in nativer Auflösung zu verarbeiten. Während der Diskreitisierung schlagen wir eine proximale Repräsentationslernstrategie vor, die den Merkmalsraum schrittweise verdichtet, zusammen mit einem positionsbewussten head-weisen Quantisierungsmechanismus, der eine flexible Verarbeitung beliebiger Auflösungen ermöglicht. Umfangreiche Experimente zu multimodalen Aufgaben zeigen, dass ViQ im Vergleich zu modernsten multimodalen Bildencodern mit kontinuierlichen und hochdimensionalen visuellen Merkmalen eine wettbewerbsfähige Leistung erzielt, während es eine hohe Präzision bei der niederstufigen Rekonstruktion beibehält. Wir zeigen außerdem, dass multimodales Training mit visuellen quantisierten Repräsentationen die Effizienz erheblich verbessert, was je nach Basis-LLM und Trainingsrezept zu einer Beschleunigung von bis zu 20 % bis 70 % führt.

English

A unified representation for text and vision is a natural pursuit, as it enables simpler multimodal modeling and more efficient training. However, representing images as discrete signals in the same way as text inevitably introduces severe information loss. Existing work struggles to balance low-level details and high-level semantics in discrete representations: reconstruction-oriented representations often lack semantic information, whereas semantically stronger features typically suffer from severe loss of detail. We present ViQ, a Visual Quantized Representations framework, which is designed to balance semantics and details in discrete representations while supporting inputs at native resolutions, thereby enabling it to serve as a unified and general discrete representation for arbitrary visual inputs. Our approach structures quantization learning into two stages: text-aligned pre-training and feature discretization. With text-aligned pre-training, we enhance the visual encoder semantic-rich supervision from the pretrained language model and enable it to process native-resolution visual inputs. During discretization, we propose a proximal representation learning strategy to progressively compact the feature space, along with a position-aware head-wise quantization mechanism that enables flexible processing of arbitrary resolutions. Extensive experiments on multimodal tasks demonstrate that ViQ achieves competitive performance compared to state-of-the-art multimodal vision encoders with continuous and high-dimensional visual features, while maintaining high precision in low-level reconstruction. We also show that multimodal training with visual quantized representations largely improves efficiency, yielding up to 20\%-70\% acceleration with different base LLMs and training recipes.