Benchmark It Yourself (BIY): Preparazione di un Dataset e Benchmarking di Modelli di IA per Compiti Relativi agli Scatterplot

Benchmark It Yourself (BIY): Preparing a Dataset and Benchmarking AI Models for Scatterplot-Related Tasks

October 7, 2025

Autori: João Palmeiro, Diogo Duarte, Rita Costa, Pedro Bizarro

cs.AI

Abstract

I modelli di IA sono sempre più utilizzati per l'analisi e la visualizzazione dei dati, tuttavia i benchmark raramente affrontano compiti specifici per i grafici a dispersione, limitando le informazioni sulle prestazioni. Per colmare questa lacuna per uno dei tipi di grafico più comuni, introduciamo un dataset sintetico e annotato di oltre 18.000 grafici a dispersione provenienti da sei generatori di dati e 17 design di grafici, e un benchmark basato su di esso. Valutiamo modelli proprietari di OpenAI e Google utilizzando il prompting N-shot su cinque compiti distinti derivati dalle annotazioni delle bounding box dei cluster, delle loro coordinate centrali e delle coordinate degli outlier. I modelli di OpenAI e Gemini 2.5 Flash, specialmente quando vengono forniti esempi, sono opzioni valide per il conteggio dei cluster e, nel caso di Flash, degli outlier (accuratezza superiore al 90%). Tuttavia, i risultati per i compiti relativi alla localizzazione sono insoddisfacenti: Precisione e Richiamo sono vicini o inferiori al 50%, ad eccezione di Flash nell'identificazione degli outlier (65,01%). Inoltre, l'impatto del design del grafico sulle prestazioni sembra essere un fattore secondario, ma è consigliabile evitare grafici a dispersione con rapporti di aspetto ampi (16:9 e 21:9) o colorati in modo casuale. Materiali supplementari sono disponibili all'indirizzo https://github.com/feedzai/biy-paper.

English

AI models are increasingly used for data analysis and visualization, yet benchmarks rarely address scatterplot-specific tasks, limiting insight into performance. To address this gap for one of the most common chart types, we introduce a synthetic, annotated dataset of over 18,000 scatterplots from six data generators and 17 chart designs, and a benchmark based on it. We evaluate proprietary models from OpenAI and Google using N-shot prompting on five distinct tasks derived from annotations of cluster bounding boxes, their center coordinates, and outlier coordinates. OpenAI models and Gemini 2.5 Flash, especially when prompted with examples, are viable options for counting clusters and, in Flash's case, outliers (90%+ Accuracy). However, the results for localization-related tasks are unsatisfactory: Precision and Recall are near or below 50%, except for Flash in outlier identification (65.01%). Furthermore, the impact of chart design on performance appears to be a secondary factor, but it is advisable to avoid scatterplots with wide aspect ratios (16:9 and 21:9) or those colored randomly. Supplementary materials are available at https://github.com/feedzai/biy-paper.