Peer-Ranked Precision: Het Maken van een Fundamentale Dataset voor het Fine-Tunen van Visuele Modellen met Geannoteerde Beelden van DataSeeds

Peer-Ranked Precision: Creating a Foundational Dataset for Fine-Tuning Vision Models from DataSeeds' Annotated Imagery

June 6, 2025

Auteurs: Sajjad Abdoli, Freeman Lewin, Gediminas Vasiliauskas, Fabian Schonholz

cs.AI

Samenvatting

De ontwikkeling van moderne Kunstmatige Intelligentie (AI)-modellen, met name diffusiegebaseerde modellen die worden ingezet bij computervisie- en beeldgeneratietaken, ondergaat een paradigmatische verschuiving in ontwikkelingsmethodologieën. Traditioneel gedomineerd door een "Model Centric"-benadering, waarbij prestatieverbeteringen voornamelijk werden nagestreefd door steeds complexere modelarchitecturen en hyperparameteroptimalisatie, erkent het veld nu een meer genuanceerde "Data-Centric"-benadering. Dit opkomende kader plaatst de kwaliteit, structuur en relevantie van trainingsgegevens als de belangrijkste drijfveer van modelprestaties. Om deze paradigmaverschuiving operationeel te maken, introduceren we de DataSeeds.AI-steekproefdataset (de "DSD"), aanvankelijk bestaande uit ongeveer 10.610 hoogwaardige, door mensen beoordeelde fotografische afbeeldingen, vergezeld van uitgebreide, meerlagige annotaties. De DSD is een fundamentele computervisie-dataset die is ontworpen om een nieuwe standaard in te luiden voor commerciële beelddatasets. Als een klein deel van DataSeed.AI's catalogus van meer dan 100 miljoen afbeeldingen, biedt de DSD een schaalbare basis die noodzakelijk is voor robuuste commerciële en multimodale AI-ontwikkeling. Door middel van deze diepgaande verkennende analyse documenteren we de kwantitatieve verbeteringen die de DSD genereert bij specifieke modellen ten opzichte van bekende benchmarks, en stellen we de code en de getrainde modellen die in onze evaluatie zijn gebruikt, openbaar beschikbaar.

English

The development of modern Artificial Intelligence (AI) models, particularly diffusion-based models employed in computer vision and image generation tasks, is undergoing a paradigmatic shift in development methodologies. Traditionally dominated by a "Model Centric" approach, in which performance gains were primarily pursued through increasingly complex model architectures and hyperparameter optimization, the field is now recognizing a more nuanced "Data-Centric" approach. This emergent framework foregrounds the quality, structure, and relevance of training data as the principal driver of model performance. To operationalize this paradigm shift, we introduce the DataSeeds.AI sample dataset (the "DSD"), initially comprised of approximately 10,610 high-quality human peer-ranked photography images accompanied by extensive multi-tier annotations. The DSD is a foundational computer vision dataset designed to usher in a new standard for commercial image datasets. Representing a small fraction of DataSeed.AI's 100 million-plus image catalog, the DSD provides a scalable foundation necessary for robust commercial and multimodal AI development. Through this in-depth exploratory analysis, we document the quantitative improvements generated by the DSD on specific models against known benchmarks and make the code and the trained models used in our evaluation publicly available.