WildTableBench : Évaluation de modèles fondamentaux multimodaux pour la compréhension de tableaux en conditions réelles

Résumé

L'utilisation de modèles fondamentaux multimodaux pour analyser des images de tableaux constitue une application à haute valeur ajoutée mais difficile dans les scénarios grand public et d'entreprise. Malgré son importance, les évaluations actuelles reposent largement sur des tableaux textuels structurés ou des images rendues propres, laissant inexplorée la complexité visuelle des images de tableaux issues du monde réel. Ces images présentent des mises en page variées et des domaines divers qui exigent une perception structurelle et un raisonnement numérique sophistiqués. Pour combler cette lacune, nous introduisons WildTableBench, le premier benchmark de questions-réponses pour les images de tableaux naturels provenant de contextes réels. WildTableBench comprend 402 images de tableaux à haute densité d'information collectées sur des forums et sites web dans divers domaines, ainsi que 928 questions annotées et vérifiées manuellement, réparties en 17 sous-types couvrant cinq catégories. Nous évaluons 21 modèles fondamentaux multimodaux de pointe, propriétaires et open source, sur ce benchmark. Un seul modèle dépasse les 50 % de précision, tandis que tous les autres modèles se situent entre 4,1 % et 49,9 %. Nous menons en outre des analyses diagnostiques pour caractériser les échecs des modèles et révéler des faiblesses persistantes dans la perception structurelle et le raisonnement. Ces résultats et analyses offrent des perspectives utiles sur les capacités actuelles des modèles et établissent WildTableBench comme un benchmark diagnostique précieux pour la compréhension des images de tableaux.

English

Using multimodal foundation models to analyze table images is a high-value yet challenging application in consumer and enterprise scenarios. Despite its importance, current evaluations rely largely on structured-text tables or clean rendered images, leaving the visual complexity of in-the-wild table images underexplored. Such images feature varied layouts and diverse domains that demand sophisticated structural perception and numerical reasoning. To bridge this gap, we introduce WildTableBench, the first question-answering benchmark for naturally occurring table images from real-world settings. WildTableBench comprises 402 high-information-density table images collected from online forums and websites across diverse domains, together with 928 manually annotated and verified questions spanning 17 subtypes across five categories. We evaluate 21 frontier proprietary and open-source multimodal foundation models on this benchmark. Only one model exceeds 50% accuracy, while all remaining models range from 4.1% to 49.9%. We further conduct diagnostic analyses to characterize model failures and reveal persistent weaknesses in structural perception and reasoning. These results and analyses provide useful insights into current model capabilities and establish WildTableBench as a valuable diagnostic benchmark for table image understanding.