Penser comme un annotateur : Génération d'instructions pour l'étiquetage de jeux de données

Thinking Like an Annotator: Generation of Dataset Labeling Instructions

June 24, 2023

Auteurs: Nadine Chang, Francesco Ferroni, Michael J. Tarr, Martial Hebert, Deva Ramanan

cs.AI

Résumé

Les ensembles de données à grande échelle sont essentiels à l'apprentissage profond moderne. Les partisans soutiennent que la compréhension de ces méthodes nécessite une transparence des ensembles de données (par exemple, "la curation des données, la motivation, la composition, le processus de collecte, etc."). Cependant, presque personne n'a suggéré la publication des définitions détaillées et des exemples visuels de catégories fournis aux annotateurs - des informations cruciales pour comprendre la structure des annotations présentes dans chaque ensemble de données. Ces étiquettes sont au cœur des ensembles de données publics, mais peu d'entre eux incluent les instructions utilisées pour les générer. Nous introduisons une nouvelle tâche, la Génération d'Instructions d'Étiquetage, pour pallier l'absence d'instructions d'étiquetage publiquement disponibles. Dans la Génération d'Instructions d'Étiquetage, nous prenons un ensemble de données raisonnablement annoté et : 1) générons un ensemble d'exemples visuellement représentatifs de chaque catégorie dans l'ensemble de données ; 2) fournissons une étiquette textuelle correspondant à chacun de ces exemples. Nous introduisons un cadre qui ne nécessite aucun entraînement de modèle pour résoudre cette tâche et inclut un système de récupération rapide nouvellement créé qui exploite un grand modèle de vision et de langage pré-entraîné. Ce cadre agit comme un proxy pour les annotateurs humains, capable d'aider à générer un ensemble final d'instructions d'étiquetage et à évaluer sa qualité. Notre cadre génère plusieurs représentations visuelles et textuelles diversifiées des catégories de l'ensemble de données. L'ensemble d'instructions optimisé surpasse notre base de référence la plus forte sur 5 plis par 7,06 mAP pour NuImages et 12,9 mAP pour COCO.

English

Large-scale datasets are essential to modern day deep learning. Advocates argue that understanding these methods requires dataset transparency (e.g. "dataset curation, motivation, composition, collection process, etc..."). However, almost no one has suggested the release of the detailed definitions and visual category examples provided to annotators - information critical to understanding the structure of the annotations present in each dataset. These labels are at the heart of public datasets, yet few datasets include the instructions that were used to generate them. We introduce a new task, Labeling Instruction Generation, to address missing publicly available labeling instructions. In Labeling Instruction Generation, we take a reasonably annotated dataset and: 1) generate a set of examples that are visually representative of each category in the dataset; 2) provide a text label that corresponds to each of the examples. We introduce a framework that requires no model training to solve this task and includes a newly created rapid retrieval system that leverages a large, pre-trained vision and language model. This framework acts as a proxy to human annotators that can help to both generate a final labeling instruction set and evaluate its quality. Our framework generates multiple diverse visual and text representations of dataset categories. The optimized instruction set outperforms our strongest baseline across 5 folds by 7.06 mAP for NuImages and 12.9 mAP for COCO.