PixelPrune: Adaptieve visuele tokenreductie op pixelniveau via voorspellende codering

Samenvatting

Documentbegrip en GUI-interactie behoren tot de hoogst gewaardeerde toepassingen van Visie-Taalmodellen (VLM's), maar ze leggen een uitzonderlijk zware rekenlast op: fijnmazige tekst en kleine UI-elementen vereisen hoge-resolutie-invoer die tienduizenden visuele tokens produceert. Wij observeren dat deze kosten grotendeels verspild zijn – over document- en GUI-benchmarks heen is slechts 22–71% van de beeldpatronen pixel-uniek; de rest is exacte duplicaten van een ander patroon in hetzelfde beeld. Wij stellen PixelPrune voor, dat deze redundantie op pixelniveau benut via compressie op basis van voorspellende codering, waarbij redundante patronen worden weggehaald vóór de Vision Transformer (ViT)-encoder. Omdat het in de pixelruimte werkt vóór enige neurale berekening, versnelt PixelPrune zowel de ViT-encoder als de stroomafwaartse LLM, waarmee de gehele inferentiepijplijn wordt gedekt. De methode is training-vrij, vereist geen leerbare parameters, en ondersteunt pixelverliesloze compressie (τ=0) alsook gecontroleerde verliesgevende compressie (τ>0). Experimenten over drie modelschalen en document- en GUI-benchmarks tonen aan dat PixelPrune competitieve taaknauwkeurigheid handhaaft terwijl het tot 4,2× inferentiesnelheidsversnelling en 1,9× trainingsversnelling levert. Code is beschikbaar op https://github.com/OPPO-Mente-Lab/PixelPrune.

English

Document understanding and GUI interaction are among the highest-value applications of Vision-Language Models (VLMs), yet they impose exceptionally heavy computational burden: fine-grained text and small UI elements demand high-resolution inputs that produce tens of thousands of visual tokens. We observe that this cost is largely wasteful -- across document and GUI benchmarks, only 22--71\% of image patches are pixel-unique, the rest being exact duplicates of another patch in the same image. We propose PixelPrune, which exploits this pixel-level redundancy through predictive-coding-based compression, pruning redundant patches before the Vision Transformer (ViT) encoder. Because it operates in pixel space prior to any neural computation, PixelPrune accelerates both the ViT encoder and the downstream LLM, covering the full inference pipeline. The method is training-free, requires no learnable parameters, and supports pixel-lossless compression (τ{=}0) as well as controlled lossy compression (τ{>}0). Experiments across three model scales and document and GUI benchmarks show that PixelPrune maintains competitive task accuracy while delivering up to 4.2times inference speedup and 1.9times training acceleration. Code is available at https://github.com/OPPO-Mente-Lab/PixelPrune.