Benchmark It Yourself (BIY): Een Dataset Voorbereiden en AI-modellen Benchmarksen voor Scatterplot-Gerelateerde Taken

Benchmark It Yourself (BIY): Preparing a Dataset and Benchmarking AI Models for Scatterplot-Related Tasks

October 7, 2025

Auteurs: João Palmeiro, Diogo Duarte, Rita Costa, Pedro Bizarro

cs.AI

Samenvatting

AI-modellen worden steeds vaker gebruikt voor data-analyse en -visualisatie, maar benchmarks richten zich zelden op scatterplot-specifieke taken, wat inzicht in de prestaties beperkt. Om deze leemte voor een van de meest voorkomende grafiektypen aan te pakken, introduceren we een synthetische, geannoteerde dataset van meer dan 18.000 scatterplots afkomstig van zes datageneratoren en 17 grafiekontwerpen, en een benchmark die hierop is gebaseerd. We evalueren propriëtaire modellen van OpenAI en Google met behulp van N-shot prompting op vijf verschillende taken die zijn afgeleid van annotaties van clusterbegrenzingsvakken, hun middelpuntscoördinaten en uitbijtercoördinaten. OpenAI-modellen en Gemini 2.5 Flash, vooral wanneer ze worden geprompt met voorbeelden, zijn geschikte opties voor het tellen van clusters en, in het geval van Flash, uitbijters (90%+ nauwkeurigheid). De resultaten voor taken gerelateerd aan lokalisatie zijn echter onbevredigend: Precision en Recall liggen op of onder de 50%, behalve voor Flash bij uitbijteridentificatie (65,01%). Bovendien lijkt de invloed van grafiekontwerp op de prestaties een secundaire factor te zijn, maar het is aan te raden om scatterplots met brede beeldverhoudingen (16:9 en 21:9) of willekeurig gekleurde scatterplots te vermijden. Aanvullende materialen zijn beschikbaar op https://github.com/feedzai/biy-paper.

English

AI models are increasingly used for data analysis and visualization, yet benchmarks rarely address scatterplot-specific tasks, limiting insight into performance. To address this gap for one of the most common chart types, we introduce a synthetic, annotated dataset of over 18,000 scatterplots from six data generators and 17 chart designs, and a benchmark based on it. We evaluate proprietary models from OpenAI and Google using N-shot prompting on five distinct tasks derived from annotations of cluster bounding boxes, their center coordinates, and outlier coordinates. OpenAI models and Gemini 2.5 Flash, especially when prompted with examples, are viable options for counting clusters and, in Flash's case, outliers (90%+ Accuracy). However, the results for localization-related tasks are unsatisfactory: Precision and Recall are near or below 50%, except for Flash in outlier identification (65.01%). Furthermore, the impact of chart design on performance appears to be a secondary factor, but it is advisable to avoid scatterplots with wide aspect ratios (16:9 and 21:9) or those colored randomly. Supplementary materials are available at https://github.com/feedzai/biy-paper.