ViCO: Uma Estratégia de Treinamento para Alcançar Consciência Semântica Dinâmica em Alta Resolução

ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution

October 14, 2025

Autores: Long Cui, Weiyun Wang, Jie Shao, Zichen Wen, Gen Luo, Linfeng Zhang, Yanting Zhang, Yu Qiao, Wenhai Wang

cs.AI

Resumo

Os Modelos de Linguagem Multimodais de Grande Escala (MLLMs) existentes sofrem com o aumento dos custos de inferência devido aos tokens visuais adicionais introduzidos pelas entradas de imagens. Neste trabalho, propomos o Aprendizado de Consistência Visual (ViCO), um novo algoritmo de treinamento que permite ao modelo representar imagens de diferentes complexidades semânticas usando números variados de tokens visuais. A ideia central do nosso método é empregar múltiplos conectores MLP, cada um com uma taxa de compressão de imagem diferente, para reduzir a resolução dos tokens visuais com base na complexidade semântica da imagem. Durante o treinamento, minimizamos a divergência KL entre as respostas condicionadas em diferentes conectores MLP. No momento da inferência, introduzimos um roteador de imagens, denominado Roteador de Resolução Visual (ViR), que seleciona automaticamente a taxa de compressão apropriada para cada segmento de imagem. Em comparação com as estratégias dinâmicas de alta resolução existentes, que ajustam o número de tokens visuais com base nas resoluções das imagens, nosso método adapta dinamicamente o número de tokens visuais de acordo com a complexidade semântica. Resultados experimentais demonstram que nosso método pode reduzir o número de tokens visuais em até 50% enquanto mantém as capacidades de percepção, raciocínio e OCR do modelo. Esperamos que este trabalho contribua para o desenvolvimento de MLLMs mais eficientes. O código e os modelos serão liberados para facilitar pesquisas futuras.

English

Existing Multimodal Large Language Models (MLLMs) suffer from increased inference costs due to the additional vision tokens introduced by image inputs. In this work, we propose Visual Consistency Learning (ViCO), a novel training algorithm that enables the model to represent images of varying semantic complexities using different numbers of vision tokens. The key idea behind our method is to employ multiple MLP connectors, each with a different image compression ratio, to downsample the vision tokens based on the semantic complexity of the image. During training, we minimize the KL divergence between the responses conditioned on different MLP connectors. At inference time, we introduce an image router, termed Visual Resolution Router (ViR), that automatically selects the appropriate compression rate for each image patch. Compared with existing dynamic high-resolution strategies, which adjust the number of visual tokens based on image resolutions, our method dynamically adapts the number of visual tokens according to semantic complexity. Experimental results demonstrate that our method can reduce the number of vision tokens by up to 50% while maintaining the model's perception, reasoning, and OCR capabilities. We hope this work will contribute to the development of more efficient MLLMs. The code and models will be released to facilitate future research.