Benchmark It Yourself (BIY): Vorbereitung eines Datensatzes und Benchmarking von KI-Modellen für streudiagrammbezogene Aufgaben
Benchmark It Yourself (BIY): Preparing a Dataset and Benchmarking AI Models for Scatterplot-Related Tasks
October 7, 2025
papers.authors: João Palmeiro, Diogo Duarte, Rita Costa, Pedro Bizarro
cs.AI
papers.abstract
KI-Modelle werden zunehmend für Datenanalyse und Visualisierung eingesetzt, doch Benchmarks behandeln selten spezifische Aufgaben für Streudiagramme, was die Einblicke in die Leistungsfähigkeit einschränkt. Um diese Lücke für einen der häufigsten Diagrammtypen zu schließen, stellen wir einen synthetischen, annotierten Datensatz mit über 18.000 Streudiagrammen aus sechs Datenquellen und 17 Diagrammdesigns sowie einen darauf basierenden Benchmark vor. Wir evaluieren proprietäre Modelle von OpenAI und Google mittels N-Shot-Prompting anhand von fünf verschiedenen Aufgaben, die sich aus den Annotationen von Cluster-Begrenzungsrahmen, deren Mittelpunktskoordinaten und Ausreißerkoordinaten ableiten. OpenAI-Modelle und Gemini 2.5 Flash, insbesondere wenn sie mit Beispielen gepromptet werden, sind geeignete Optionen für die Zählung von Clustern und im Fall von Flash auch für Ausreißer (Genauigkeit von über 90%). Die Ergebnisse für lokalisierungsbezogene Aufgaben sind jedoch unbefriedigend: Präzision und Recall liegen nahe oder unter 50%, mit Ausnahme von Flash bei der Identifikation von Ausreißern (65,01%). Darüber hinaus scheint der Einfluss des Diagrammdesigns auf die Leistung ein sekundärer Faktor zu sein, dennoch ist es ratsam, Streudiagramme mit breiten Seitenverhältnissen (16:9 und 21:9) oder zufällig eingefärbte Diagramme zu vermeiden. Ergänzende Materialien sind unter https://github.com/feedzai/biy-paper verfügbar.
English
AI models are increasingly used for data analysis and visualization, yet
benchmarks rarely address scatterplot-specific tasks, limiting insight into
performance. To address this gap for one of the most common chart types, we
introduce a synthetic, annotated dataset of over 18,000 scatterplots from six
data generators and 17 chart designs, and a benchmark based on it. We evaluate
proprietary models from OpenAI and Google using N-shot prompting on five
distinct tasks derived from annotations of cluster bounding boxes, their center
coordinates, and outlier coordinates. OpenAI models and Gemini 2.5 Flash,
especially when prompted with examples, are viable options for counting
clusters and, in Flash's case, outliers (90%+ Accuracy). However, the results
for localization-related tasks are unsatisfactory: Precision and Recall are
near or below 50%, except for Flash in outlier identification (65.01%).
Furthermore, the impact of chart design on performance appears to be a
secondary factor, but it is advisable to avoid scatterplots with wide aspect
ratios (16:9 and 21:9) or those colored randomly. Supplementary materials are
available at https://github.com/feedzai/biy-paper.