Gebruiken We de Juiste Benchmark: Een Evaluatiekader voor Methoden van Visuele Tokencompressie

Samenvatting

Recente inspanningen om inferentie in Multimodale Grote Taalmodellen (MLLMs) te versnellen, hebben zich voornamelijk gericht op visuele tokencompressie. De effectiviteit van deze methoden wordt doorgaans beoordeeld door de nauwkeurigheidsdaling op gevestigde benchmarks te meten, waarbij de modelprestaties voor en na compressie worden vergeleken. Deze benchmarks zijn echter oorspronkelijk ontworpen om de perceptie- en redeneervaardigheden van MLLMs te beoordelen, in plaats van om compressietechnieken te evalueren. Hierdoor ontstaat er een taakmismatch wanneer ze direct worden toegepast op visuele tokencompressie. Opvallend is dat ons onderzoek aantoont dat eenvoudige beeldverkleining consequent veel geavanceerde compressiemethoden overtreft op meerdere veelgebruikte benchmarks. Door uitgebreide experimenten hebben we de volgende observaties gemaakt: (i) Huidige benchmarks zijn onnauwkeurig voor de taak van visuele tokencompressie. (ii) Beeldverkleining kan dienen als een datafilter om de moeilijkheidsgraad van samples in de visuele tokencompressietaak te evalueren. Gemotiveerd door deze bevindingen introduceren we VTC-Bench, een evaluatieraamwerk dat een datafilteringsmechanisme bevat om bestaande benchmarks te ontdoen van ruis, waardoor een eerlijkere en nauwkeurigere beoordeling van visuele tokencompressiemethoden mogelijk wordt gemaakt. Alle data en code zijn beschikbaar op https://github.com/Chenfei-Liao/VTC-Bench.

English

Recent endeavors to accelerate inference in Multimodal Large Language Models (MLLMs) have primarily focused on visual token compression. The effectiveness of these methods is typically assessed by measuring the accuracy drop on established benchmarks, comparing model performance before and after compression. However, these benchmarks are originally designed to assess the perception and reasoning capabilities of MLLMs, rather than to evaluate compression techniques. As a result, directly applying them to visual token compression introduces a task mismatch. Strikingly, our investigation reveals that simple image downsampling consistently outperforms many advanced compression methods across multiple widely used benchmarks. Through extensive experiments, we make the following observations: (i) Current benchmarks are noisy for the visual token compression task. (ii) Down-sampling is able to serve as a data filter to evaluate the difficulty of samples in the visual token compression task. Motivated by these findings, we introduce VTC-Bench, an evaluation framework that incorporates a data filtering mechanism to denoise existing benchmarks, thereby enabling fairer and more accurate assessment of visual token compression methods. All data and code are available at https://github.com/Chenfei-Liao/VTC-Bench.

Gebruiken We de Juiste Benchmark: Een Evaluatiekader voor Methoden van Visuele Tokencompressie

Are We Using the Right Benchmark: An Evaluation Framework for Visual Token Compression Methods

Samenvatting

Support