ViQ : Représentations visuelles quantifiées alignées sur le texte à n’importe quelle résolution

Résumé

Une représentation unifiée du texte et de la vision est une quête naturelle, car elle permet une modélisation multimodale plus simple et un entraînement plus efficace. Cependant, représenter les images comme des signaux discrets de la même manière que le texte introduit inévitablement une perte d'information sévère. Les travaux existants peinent à équilibrer les détails de bas niveau et la sémantique de haut niveau dans les représentations discrètes : les représentations orientées reconstruction manquent souvent d'information sémantique, tandis que les caractéristiques sémantiquement plus fortes souffrent généralement d'une perte sévère de détails. Nous présentons ViQ, un cadre de représentations quantifiées visuelles, conçu pour équilibrer la sémantique et les détails dans les représentations discrètes tout en prenant en charge les entrées en résolutions natives, ce qui lui permet de servir de représentation discrète unifiée et générale pour des entrées visuelles arbitraires. Notre approche structure l'apprentissage par quantification en deux étapes : un pré-entraînement aligné sur le texte et une discrétisation des caractéristiques. Avec le pré-entraînement aligné sur le texte, nous renforçons l'encodeur visuel grâce à une supervision riche en sémantique provenant du modèle de langage pré-entraîné et lui permettons de traiter des entrées visuelles en résolution native. Lors de la discrétisation, nous proposons une stratégie d'apprentissage proximal de représentation pour compacter progressivement l'espace des caractéristiques, ainsi qu'une quantification tête par tête sensible à la position qui permet un traitement flexible de résolutions arbitraires. Des expériences approfondies sur des tâches multimodales montrent que ViQ atteint des performances compétitives par rapport aux encodeurs visuels multimodaux de pointe utilisant des caractéristiques visuelles continues et de haute dimension, tout en maintenant une haute précision dans la reconstruction de bas niveau. Nous montrons également que l'entraînement multimodal avec des représentations visuelles quantifiées améliore considérablement l'efficacité, permettant une accélération de 20 % à 70 % selon les LLM de base et les recettes d'entraînement.

English

A unified representation for text and vision is a natural pursuit, as it enables simpler multimodal modeling and more efficient training. However, representing images as discrete signals in the same way as text inevitably introduces severe information loss. Existing work struggles to balance low-level details and high-level semantics in discrete representations: reconstruction-oriented representations often lack semantic information, whereas semantically stronger features typically suffer from severe loss of detail. We present ViQ, a Visual Quantized Representations framework, which is designed to balance semantics and details in discrete representations while supporting inputs at native resolutions, thereby enabling it to serve as a unified and general discrete representation for arbitrary visual inputs. Our approach structures quantization learning into two stages: text-aligned pre-training and feature discretization. With text-aligned pre-training, we enhance the visual encoder semantic-rich supervision from the pretrained language model and enable it to process native-resolution visual inputs. During discretization, we propose a proximal representation learning strategy to progressively compact the feature space, along with a position-aware head-wise quantization mechanism that enables flexible processing of arbitrary resolutions. Extensive experiments on multimodal tasks demonstrate that ViQ achieves competitive performance compared to state-of-the-art multimodal vision encoders with continuous and high-dimensional visual features, while maintaining high precision in low-level reconstruction. We also show that multimodal training with visual quantized representations largely improves efficiency, yielding up to 20\%-70\% acceleration with different base LLMs and training recipes.