WildTableBench: Het benchmarken van multimodale basismodellen voor tabelbegrip in het wild

Samenvatting

Het gebruik van multimodale funderingsmodellen om tabellenafbeeldingen te analyseren is een waardevolle maar uitdagende toepassing in consumenten- en bedrijfsscenario's. Ondanks het belang ervan zijn de huidige evaluaties grotendeels gebaseerd op gestructureerde-teksttabellen of schone gerenderde afbeeldingen, waardoor de visuele complexiteit van in het wild voorkomende tabellenafbeeldingen onderbelicht blijft. Dergelijke afbeeldingen vertonen uiteenlopende lay-outs en diverse domeinen, waarvoor geavanceerde structurele perceptie en numeriek redeneren nodig is. Om deze kloof te overbruggen introduceren we WildTableBench, de eerste vraag-antwoordbenchmark voor natuurlijk voorkomende tabellenafbeeldingen uit praktijksituaties. WildTableBench omvat 402 tabellenafbeeldingen met hoge informatiedichtheid, verzameld van onlineforums en websites uit uiteenlopende domeinen, samen met 928 handmatig geannoteerde en geverifieerde vragen die 17 subtypen in vijf categorieën beslaan. We evalueren 21 toonaangevende propriëtaire en opensource multimodale funderingsmodellen met deze benchmark. Slechts één model haalt meer dan 50% nauwkeurigheid, terwijl alle overige modellen scoren tussen 4,1% en 49,9%. Verder voeren we diagnostische analyses uit om modelfouten te karakteriseren en aanhoudende zwaktes in structurele perceptie en redenering bloot te leggen. Deze resultaten en analyses bieden nuttige inzichten in de huidige modelcapaciteiten en vestigen WildTableBench als een waardevolle diagnostische benchmark voor het begrijpen van tabellenafbeeldingen.

English

Using multimodal foundation models to analyze table images is a high-value yet challenging application in consumer and enterprise scenarios. Despite its importance, current evaluations rely largely on structured-text tables or clean rendered images, leaving the visual complexity of in-the-wild table images underexplored. Such images feature varied layouts and diverse domains that demand sophisticated structural perception and numerical reasoning. To bridge this gap, we introduce WildTableBench, the first question-answering benchmark for naturally occurring table images from real-world settings. WildTableBench comprises 402 high-information-density table images collected from online forums and websites across diverse domains, together with 928 manually annotated and verified questions spanning 17 subtypes across five categories. We evaluate 21 frontier proprietary and open-source multimodal foundation models on this benchmark. Only one model exceeds 50% accuracy, while all remaining models range from 4.1% to 49.9%. We further conduct diagnostic analyses to characterize model failures and reveal persistent weaknesses in structural perception and reasoning. These results and analyses provide useful insights into current model capabilities and establish WildTableBench as a valuable diagnostic benchmark for table image understanding.