Benchmark It Yourself (BIY): Подготовка набора данных и тестирование моделей искусственного интеллекта для задач, связанных с диаграммами рассеяния
Benchmark It Yourself (BIY): Preparing a Dataset and Benchmarking AI Models for Scatterplot-Related Tasks
October 7, 2025
Авторы: João Palmeiro, Diogo Duarte, Rita Costa, Pedro Bizarro
cs.AI
Аннотация
Модели искусственного интеллекта всё чаще используются для анализа и визуализации данных, однако бенчмарки редко затрагивают задачи, специфичные для точечных диаграмм, что ограничивает понимание их производительности. Чтобы восполнить этот пробел для одного из наиболее распространённых типов графиков, мы представляем синтетический аннотированный набор данных, содержащий более 18 000 точечных диаграмм, созданных с помощью шести генераторов данных и 17 вариантов оформления, а также бенчмарк на его основе. Мы оцениваем проприетарные модели OpenAI и Google, используя N-shot prompting для пяти различных задач, основанных на аннотациях ограничивающих прямоугольников кластеров, их центральных координат и координат выбросов. Модели OpenAI и Gemini 2.5 Flash, особенно при использовании примеров в подсказках, демонстрируют приемлемые результаты для подсчёта кластеров и, в случае Flash, выбросов (точность более 90%). Однако результаты для задач, связанных с локализацией, остаются неудовлетворительными: точность и полнота находятся на уровне или ниже 50%, за исключением Flash в задаче идентификации выбросов (65,01%). Кроме того, влияние дизайна диаграммы на производительность кажется второстепенным фактором, но рекомендуется избегать точечных диаграмм с широким соотношением сторон (16:9 и 21:9) или случайной цветовой палитрой. Дополнительные материалы доступны по адресу https://github.com/feedzai/biy-paper.
English
AI models are increasingly used for data analysis and visualization, yet
benchmarks rarely address scatterplot-specific tasks, limiting insight into
performance. To address this gap for one of the most common chart types, we
introduce a synthetic, annotated dataset of over 18,000 scatterplots from six
data generators and 17 chart designs, and a benchmark based on it. We evaluate
proprietary models from OpenAI and Google using N-shot prompting on five
distinct tasks derived from annotations of cluster bounding boxes, their center
coordinates, and outlier coordinates. OpenAI models and Gemini 2.5 Flash,
especially when prompted with examples, are viable options for counting
clusters and, in Flash's case, outliers (90%+ Accuracy). However, the results
for localization-related tasks are unsatisfactory: Precision and Recall are
near or below 50%, except for Flash in outlier identification (65.01%).
Furthermore, the impact of chart design on performance appears to be a
secondary factor, but it is advisable to avoid scatterplots with wide aspect
ratios (16:9 and 21:9) or those colored randomly. Supplementary materials are
available at https://github.com/feedzai/biy-paper.