WildTableBench: Evaluación comparativa de modelos fundamentales multimodales en la comprensión de tablas en condiciones reales

Resumen

El uso de modelos fundacionales multimodales para analizar imágenes de tablas constituye una aplicación de alto valor, aunque desafiante, en escenarios de consumo y empresariales. A pesar de su importancia, las evaluaciones actuales se basan en gran medida en tablas de texto estructurado o imágenes renderizadas limpias, dejando sin explorar la complejidad visual de las imágenes de tablas en entornos reales. Dichas imágenes presentan diseños variados y dominios diversos que exigen una percepción estructural sofisticada y un razonamiento numérico. Para subsanar esta brecha, presentamos WildTableBench, el primer punto de referencia de preguntas y respuestas para imágenes de tablas obtenidas de entornos reales. WildTableBench comprende 402 imágenes de tablas con alta densidad de información, recopiladas de foros en línea y sitios web de diversos dominios, junto con 928 preguntas anotadas y verificadas manualmente que abarcan 17 subtipos en cinco categorías. Evaluamos 21 modelos fundacionales multimodales de vanguardia, tanto propietarios como de código abierto, en este punto de referencia. Solo un modelo supera el 50% de precisión, mientras que los restantes oscilan entre el 4,1% y el 49,9%. Además, realizamos análisis diagnósticos para caracterizar los fallos de los modelos y revelamos debilidades persistentes en la percepción estructural y el razonamiento. Estos resultados y análisis proporcionan información útil sobre las capacidades actuales de los modelos y establecen a WildTableBench como un valioso punto de referencia de diagnóstico para la comprensión de imágenes de tablas.

English

Using multimodal foundation models to analyze table images is a high-value yet challenging application in consumer and enterprise scenarios. Despite its importance, current evaluations rely largely on structured-text tables or clean rendered images, leaving the visual complexity of in-the-wild table images underexplored. Such images feature varied layouts and diverse domains that demand sophisticated structural perception and numerical reasoning. To bridge this gap, we introduce WildTableBench, the first question-answering benchmark for naturally occurring table images from real-world settings. WildTableBench comprises 402 high-information-density table images collected from online forums and websites across diverse domains, together with 928 manually annotated and verified questions spanning 17 subtypes across five categories. We evaluate 21 frontier proprietary and open-source multimodal foundation models on this benchmark. Only one model exceeds 50% accuracy, while all remaining models range from 4.1% to 49.9%. We further conduct diagnostic analyses to characterize model failures and reveal persistent weaknesses in structural perception and reasoning. These results and analyses provide useful insights into current model capabilities and establish WildTableBench as a valuable diagnostic benchmark for table image understanding.