Pensare come un Annotatore: Generazione di Istruzioni per l'Etichettatura dei Dataset

Thinking Like an Annotator: Generation of Dataset Labeling Instructions

June 24, 2023

Autori: Nadine Chang, Francesco Ferroni, Michael J. Tarr, Martial Hebert, Deva Ramanan

cs.AI

Abstract

I dataset su larga scala sono essenziali per il deep learning moderno. I sostenitori sostengono che la comprensione di questi metodi richieda trasparenza nei dataset (ad esempio, "curatela del dataset, motivazione, composizione, processo di raccolta, ecc..."). Tuttavia, quasi nessuno ha suggerito il rilascio delle definizioni dettagliate e degli esempi visivi delle categorie forniti agli annotatori - informazioni cruciali per comprendere la struttura delle annotazioni presenti in ciascun dataset. Queste etichette sono al centro dei dataset pubblici, eppure pochi dataset includono le istruzioni utilizzate per generarle. Introduciamo un nuovo compito, la Generazione di Istruzioni di Etichettatura, per affrontare la mancanza di istruzioni di etichettatura pubblicamente disponibili. Nella Generazione di Istruzioni di Etichettatura, prendiamo un dataset ragionevolmente annotato e: 1) generiamo un insieme di esempi che siano visivamente rappresentativi di ciascuna categoria nel dataset; 2) forniamo un'etichetta testuale che corrisponda a ciascuno degli esempi. Introduciamo un framework che non richiede addestramento di modelli per risolvere questo compito e include un sistema di recupero rapido appositamente creato che sfrutta un grande modello pre-addestrato di visione e linguaggio. Questo framework funge da proxy per gli annotatori umani e può aiutare sia a generare un insieme finale di istruzioni di etichettatura sia a valutarne la qualità. Il nostro framework genera molteplici rappresentazioni visive e testuali diverse delle categorie del dataset. L'insieme di istruzioni ottimizzato supera la nostra baseline più forte di 7.06 mAP per NuImages e 12.9 mAP per COCO su 5 fold.

English

Large-scale datasets are essential to modern day deep learning. Advocates argue that understanding these methods requires dataset transparency (e.g. "dataset curation, motivation, composition, collection process, etc..."). However, almost no one has suggested the release of the detailed definitions and visual category examples provided to annotators - information critical to understanding the structure of the annotations present in each dataset. These labels are at the heart of public datasets, yet few datasets include the instructions that were used to generate them. We introduce a new task, Labeling Instruction Generation, to address missing publicly available labeling instructions. In Labeling Instruction Generation, we take a reasonably annotated dataset and: 1) generate a set of examples that are visually representative of each category in the dataset; 2) provide a text label that corresponds to each of the examples. We introduce a framework that requires no model training to solve this task and includes a newly created rapid retrieval system that leverages a large, pre-trained vision and language model. This framework acts as a proxy to human annotators that can help to both generate a final labeling instruction set and evaluate its quality. Our framework generates multiple diverse visual and text representations of dataset categories. The optimized instruction set outperforms our strongest baseline across 5 folds by 7.06 mAP for NuImages and 12.9 mAP for COCO.