ViQ: Representaciones visuales cuantizadas alineadas con texto a cualquier resolución

Resumen

Una representación unificada para texto y visión constituye un objetivo natural, ya que permite un modelado multimodal más simple y un entrenamiento más eficiente. Sin embargo, representar imágenes como señales discretas del mismo modo que el texto inevitablemente conlleva una severa pérdida de información. Los trabajos existentes se enfrentan a la dificultad de equilibrar los detalles de bajo nivel y la semántica de alto nivel en representaciones discretas: las representaciones orientadas a la reconstrucción a menudo carecen de información semántica, mientras que las características semánticamente más fuertes suelen sufrir una pérdida severa de detalles. Presentamos ViQ, un marco de Representaciones Visuales Cuantizadas, diseñado para equilibrar la semántica y los detalles en representaciones discretas, a la vez que admite entradas en resoluciones nativas, permitiendo así servir como representación discreta unificada y general para entradas visuales arbitrarias. Nuestro enfoque estructura el aprendizaje de cuantización en dos etapas: preentrenamiento alineado con texto y discretización de características. Con el preentrenamiento alineado con texto, potenciamos el codificador visual con supervisión rica en semántica proveniente del modelo de lenguaje preentrenado y le permitimos procesar entradas visuales de resolución nativa. Durante la discretización, proponemos una estrategia de aprendizaje de representación proximal para compactar progresivamente el espacio de características, junto con un mecanismo de cuantización por cabeza consciente de la posición que permite un procesamiento flexible de resoluciones arbitrarias. Experimentos exhaustivos en tareas multimodales demuestran que ViQ alcanza un rendimiento competitivo en comparación con codificadores visuales multimodales de última generación con características visuales continuas y de alta dimensionalidad, manteniendo al mismo tiempo una alta precisión en la reconstrucción de bajo nivel. También mostramos que el entrenamiento multimodal con representaciones visuales cuantizadas mejora en gran medida la eficiencia, logrando una aceleración de hasta el 20%-70% con diferentes LLMs base y recetas de entrenamiento.

English

A unified representation for text and vision is a natural pursuit, as it enables simpler multimodal modeling and more efficient training. However, representing images as discrete signals in the same way as text inevitably introduces severe information loss. Existing work struggles to balance low-level details and high-level semantics in discrete representations: reconstruction-oriented representations often lack semantic information, whereas semantically stronger features typically suffer from severe loss of detail. We present ViQ, a Visual Quantized Representations framework, which is designed to balance semantics and details in discrete representations while supporting inputs at native resolutions, thereby enabling it to serve as a unified and general discrete representation for arbitrary visual inputs. Our approach structures quantization learning into two stages: text-aligned pre-training and feature discretization. With text-aligned pre-training, we enhance the visual encoder semantic-rich supervision from the pretrained language model and enable it to process native-resolution visual inputs. During discretization, we propose a proximal representation learning strategy to progressively compact the feature space, along with a position-aware head-wise quantization mechanism that enables flexible processing of arbitrary resolutions. Extensive experiments on multimodal tasks demonstrate that ViQ achieves competitive performance compared to state-of-the-art multimodal vision encoders with continuous and high-dimensional visual features, while maintaining high precision in low-level reconstruction. We also show that multimodal training with visual quantized representations largely improves efficiency, yielding up to 20\%-70\% acceleration with different base LLMs and training recipes.