ViCO: Una strategia di addestramento verso un'alta risoluzione dinamica consapevole della semantica

ViCO: A Training Strategy towards Semantic Aware Dynamic High-Resolution

October 14, 2025

Autori: Long Cui, Weiyun Wang, Jie Shao, Zichen Wen, Gen Luo, Linfeng Zhang, Yanting Zhang, Yu Qiao, Wenhai Wang

cs.AI

Abstract

I modelli linguistici multimodali di grandi dimensioni (MLLM) esistenti soffrono di costi di inferenza aumentati a causa dei token visivi aggiuntivi introdotti dagli input di immagini. In questo lavoro, proponiamo il Visual Consistency Learning (ViCO), un nuovo algoritmo di addestramento che consente al modello di rappresentare immagini con diverse complessità semantiche utilizzando un numero variabile di token visivi. L'idea chiave del nostro metodo è impiegare più connettori MLP, ciascuno con un diverso rapporto di compressione dell'immagine, per ridurre il campionamento dei token visivi in base alla complessità semantica dell'immagine. Durante l'addestramento, minimizziamo la divergenza KL tra le risposte condizionate su diversi connettori MLP. Al momento dell'inferenza, introduciamo un router di immagini, denominato Visual Resolution Router (ViR), che seleziona automaticamente il tasso di compressione appropriato per ogni patch di immagine. Rispetto alle strategie dinamiche ad alta risoluzione esistenti, che regolano il numero di token visivi in base alle risoluzioni delle immagini, il nostro metodo adatta dinamicamente il numero di token visivi in base alla complessità semantica. I risultati sperimentali dimostrano che il nostro metodo può ridurre il numero di token visivi fino al 50% mantenendo le capacità di percezione, ragionamento e OCR del modello. Speriamo che questo lavoro contribuisca allo sviluppo di MLLM più efficienti. Il codice e i modelli verranno rilasciati per facilitare la ricerca futura.

English

Existing Multimodal Large Language Models (MLLMs) suffer from increased inference costs due to the additional vision tokens introduced by image inputs. In this work, we propose Visual Consistency Learning (ViCO), a novel training algorithm that enables the model to represent images of varying semantic complexities using different numbers of vision tokens. The key idea behind our method is to employ multiple MLP connectors, each with a different image compression ratio, to downsample the vision tokens based on the semantic complexity of the image. During training, we minimize the KL divergence between the responses conditioned on different MLP connectors. At inference time, we introduce an image router, termed Visual Resolution Router (ViR), that automatically selects the appropriate compression rate for each image patch. Compared with existing dynamic high-resolution strategies, which adjust the number of visual tokens based on image resolutions, our method dynamically adapts the number of visual tokens according to semantic complexity. Experimental results demonstrate that our method can reduce the number of vision tokens by up to 50% while maintaining the model's perception, reasoning, and OCR capabilities. We hope this work will contribute to the development of more efficient MLLMs. The code and models will be released to facilitate future research.