WildTableBench: Бенчмаркинг мультимодальных фундаментальных моделей для понимания таблиц в реальных условиях

Аннотация

Использование мультимодальных фундаментальных моделей для анализа изображений таблиц представляет собой высокоценное, но сложное применение в потребительских и корпоративных сценариях. Несмотря на важность, современные оценки в основном опираются на таблицы в структурированном тексте или чистые визуализированные изображения, оставляя визуальную сложность табличных изображений в реальных условиях недостаточно исследованной. Такие изображения отличаются разнообразием макетов и областей применения, требующих сложного восприятия структуры и численных рассуждений. Для устранения этого пробела мы представляем WildTableBench — первый эталон для вопросно-ответных задач на естественно встречающихся табличных изображениях из реальных условий. WildTableBench включает 402 табличных изображения с высокой информационной плотностью, собранных с интернет-форумов и веб-сайтов из различных областей, а также 928 вручную аннотированных и проверенных вопросов, охватывающих 17 подтипов в пяти категориях. Мы оцениваем 21 передовую проприетарную и открытую мультимодальную фундаментальную модель на этом эталоне. Только одна модель превышает 50% точности, в то время как все остальные модели показывают результаты от 4,1% до 49,9%. Далее мы проводим диагностический анализ для характеристики сбоев моделей и выявляем устойчивые слабые места в восприятии структуры и рассуждениях. Эти результаты и анализы дают полезные сведения о текущих возможностях моделей и утверждают WildTableBench в качестве ценного диагностического эталона для понимания табличных изображений.

English

Using multimodal foundation models to analyze table images is a high-value yet challenging application in consumer and enterprise scenarios. Despite its importance, current evaluations rely largely on structured-text tables or clean rendered images, leaving the visual complexity of in-the-wild table images underexplored. Such images feature varied layouts and diverse domains that demand sophisticated structural perception and numerical reasoning. To bridge this gap, we introduce WildTableBench, the first question-answering benchmark for naturally occurring table images from real-world settings. WildTableBench comprises 402 high-information-density table images collected from online forums and websites across diverse domains, together with 928 manually annotated and verified questions spanning 17 subtypes across five categories. We evaluate 21 frontier proprietary and open-source multimodal foundation models on this benchmark. Only one model exceeds 50% accuracy, while all remaining models range from 4.1% to 49.9%. We further conduct diagnostic analyses to characterize model failures and reveal persistent weaknesses in structural perception and reasoning. These results and analyses provide useful insights into current model capabilities and establish WildTableBench as a valuable diagnostic benchmark for table image understanding.