LLaVA-UHD v4: Wat maakt efficiënte visuele codering in MLLM's?

Samenvatting

Visuele codering vormt een belangrijke computationele bottleneck in Multimodale Grote Taalmodellen (MLLMs), vooral voor invoer van afbeeldingen met hoge resolutie. De gangbare praktijk past doorgaans globale codering toe, gevolgd door post-ViT-compressie. Globale codering produceert massieve tokenreeksen, terwijl post-ViT-compressie de volledige kwadratische aandachtskosten van de ViT met zich meebrengt voordat enige tokenreductie plaatsvindt. In dit werk herzien we deze conventie langs twee dimensies: de coderingsstrategie en visuele tokencompressie. Ten eerste tonen gecontroleerde experimenten aan dat op segmenten gebaseerde codering beter presteert dan globale codering over benchmarks, wat suggereert dat het behouden van lokale details door middel van gesegmenteerde aanzichten voordeliger kan zijn dan het toepassen van globale aandacht voor fijnmazige perceptie. Ten tweede introduceren we intra-ViT vroege compressie, die tokens in ondiepe ViT-lagen reduceert en de visuele coderings-FLOPs aanzienlijk verlaagt terwijl de stroomafwaartse prestaties behouden blijven. Door intra-ViT-compressie te integreren in het op segmenten gebaseerde coderingskader presenteren we LLaVA-UHD v4, een efficiënt en rekenkundig beheersbaar visueel coderingsschema dat is afgestemd op invoer met hoge resolutie. Over een diverse reeks benchmarks die documentbegrip, OCR en algemene VQA omvatten, verlaagt LLaVA-UHD v4 de visuele coderings-FLOPs met 55,8% terwijl het de basisprestaties evenaart of zelfs overtreft. Deze resultaten suggereren dat de efficiëntie van visuele codering aanzienlijk kan worden verbeterd zonder stroomafwaartse prestaties op te offeren, wat een praktische ontwerprichting biedt voor efficiënte MLLMs met hoge resolutie. Alle modelgewichten en code zullen openbaar worden vrijgegeven om verder onderzoek te ondersteunen.

English

Visual encoding constitutes a major computational bottleneck in Multimodal Large Language Models (MLLMs), especially for high-resolution image inputs. The prevailing practice typically adopts global encoding followed by post-ViT compression. Global encoding produces massive token sequences, while post-ViT compression incurs the full quadratic attention cost of the ViT before any token reduction takes place. In this work, we revisit this convention along two dimensions: the encoding strategy and visual token compression. First, controlled experiments show that slice-based encoding outperforms global encoding across benchmarks, suggesting that preserving local details through sliced views can be more beneficial than applying global attention for fine-grained perception. Second, we introduce intra-ViT early compression, which reduces tokens in shallow ViT layers and substantially lowers visual-encoding FLOPs while preserving downstream performance. By integrating intra-ViT compression into the slice-based encoding framework, we present LLaVA-UHD v4, an efficient and compute-controllable visual encoding scheme tailored for high-resolution inputs. Across a diverse set of benchmarks covering document understanding, OCR, and general VQA, LLaVA-UHD v4 reduces visual-encoding FLOPs by 55.8% while matching or even surpassing baseline performance. These results suggest that visual-encoding efficiency can be substantially improved without sacrificing downstream performance, providing a practical design direction for efficient high-resolution MLLMs. All model weights and code will be publicly released to support further research.