ViQ: Representações Visuais Quantizadas Alinhadas ao Texto em Qualquer Resolução

Resumo

Uma representação unificada para texto e visão é uma busca natural, pois possibilita uma modelagem multimodal mais simples e um treinamento mais eficiente. No entanto, representar imagens como sinais discretos da mesma forma que o texto introduz inevitavelmente uma perda severa de informação. Trabalhos existentes têm dificuldade em equilibrar detalhes de baixo nível e semânticas de alto nível em representações discretas: representações orientadas à reconstrução frequentemente carecem de informação semântica, enquanto características semanticamente mais fortes tipicamente sofrem de perda severa de detalhes. Apresentamos o ViQ, um framework de Representações Visuais Quantizadas, projetado para equilibrar semântica e detalhes em representações discretas, além de suportar entradas em resoluções nativas, permitindo assim que sirva como uma representação discreta unificada e geral para entradas visuais arbitrárias. Nossa abordagem estrutura o aprendizado de quantização em duas etapas: pré-treinamento alinhado ao texto e discretização de características. Com o pré-treinamento alinhado ao texto, enriquecemos a supervisão semântica do codificador visual por meio de um modelo de linguagem pré-treinado e o capacitamos a processar entradas visuais em resolução nativa. Durante a discretização, propomos uma estratégia de aprendizado de representação proximal para compactar progressivamente o espaço de características, juntamente com um mecanismo de quantização por cabeça ciente da posição que possibilita o processamento flexível de resoluções arbitrárias. Extensos experimentos em tarefas multimodais demonstram que o ViQ alcança desempenho competitivo em comparação com codificadores visuais multimodais de estado da arte com características visuais contínuas e de alta dimensionalidade, enquanto mantém alta precisão na reconstrução de baixo nível. Também mostramos que o treinamento multimodal com representações visuais quantizadas melhora amplamente a eficiência, resultando em aceleração de até 20% a 70% com diferentes LLMs base e receitas de treinamento.

English

A unified representation for text and vision is a natural pursuit, as it enables simpler multimodal modeling and more efficient training. However, representing images as discrete signals in the same way as text inevitably introduces severe information loss. Existing work struggles to balance low-level details and high-level semantics in discrete representations: reconstruction-oriented representations often lack semantic information, whereas semantically stronger features typically suffer from severe loss of detail. We present ViQ, a Visual Quantized Representations framework, which is designed to balance semantics and details in discrete representations while supporting inputs at native resolutions, thereby enabling it to serve as a unified and general discrete representation for arbitrary visual inputs. Our approach structures quantization learning into two stages: text-aligned pre-training and feature discretization. With text-aligned pre-training, we enhance the visual encoder semantic-rich supervision from the pretrained language model and enable it to process native-resolution visual inputs. During discretization, we propose a proximal representation learning strategy to progressively compact the feature space, along with a position-aware head-wise quantization mechanism that enables flexible processing of arbitrary resolutions. Extensive experiments on multimodal tasks demonstrate that ViQ achieves competitive performance compared to state-of-the-art multimodal vision encoders with continuous and high-dimensional visual features, while maintaining high precision in low-level reconstruction. We also show that multimodal training with visual quantized representations largely improves efficiency, yielding up to 20\%-70\% acceleration with different base LLMs and training recipes.