Denken als een Annotator: Generatie van Instructies voor Datasetlabeling

Thinking Like an Annotator: Generation of Dataset Labeling Instructions

June 24, 2023

Auteurs: Nadine Chang, Francesco Ferroni, Michael J. Tarr, Martial Hebert, Deva Ramanan

cs.AI

Samenvatting

Grootschalige datasets zijn essentieel voor hedendaags deep learning. Voorstanders argumenteren dat het begrijpen van deze methoden transparantie over datasets vereist (bijv. "datasetcuratie, motivatie, samenstelling, verzamelproces, etc..."). Echter, bijna niemand heeft voorgesteld om de gedetailleerde definities en visuele categorievoorbeelden die aan annotators zijn verstrekt, vrij te geven - informatie die cruciaal is voor het begrijpen van de structuur van de annotaties in elke dataset. Deze labels vormen de kern van publieke datasets, maar weinig datasets bevatten de instructies die zijn gebruikt om ze te genereren. We introduceren een nieuwe taak, Labeling Instruction Generation, om het ontbreken van publiek beschikbare labelinstructies aan te pakken. In Labeling Instruction Generation nemen we een redelijk geannoteerde dataset en: 1) genereren we een set voorbeelden die visueel representatief zijn voor elke categorie in de dataset; 2) voorzien we een tekstlabel dat overeenkomt met elk van de voorbeelden. We introduceren een raamwerk dat geen modeltraining vereist om deze taak op te lossen en dat een nieuw gecreëerd snel retrievalsysteem omvat dat gebruikmaakt van een groot, vooraf getraind visueel en taalmodel. Dit raamwerk fungeert als een proxy voor menselijke annotators die kan helpen bij het genereren van een definitieve set labelinstructies en het evalueren van de kwaliteit ervan. Ons raamwerk genereert meerdere diverse visuele en tekstuele representaties van datasetcategorieën. De geoptimaliseerde instructieset presteert beter dan onze sterkste baseline over 5 folds met 7.06 mAP voor NuImages en 12.9 mAP voor COCO.

English

Large-scale datasets are essential to modern day deep learning. Advocates argue that understanding these methods requires dataset transparency (e.g. "dataset curation, motivation, composition, collection process, etc..."). However, almost no one has suggested the release of the detailed definitions and visual category examples provided to annotators - information critical to understanding the structure of the annotations present in each dataset. These labels are at the heart of public datasets, yet few datasets include the instructions that were used to generate them. We introduce a new task, Labeling Instruction Generation, to address missing publicly available labeling instructions. In Labeling Instruction Generation, we take a reasonably annotated dataset and: 1) generate a set of examples that are visually representative of each category in the dataset; 2) provide a text label that corresponds to each of the examples. We introduce a framework that requires no model training to solve this task and includes a newly created rapid retrieval system that leverages a large, pre-trained vision and language model. This framework acts as a proxy to human annotators that can help to both generate a final labeling instruction set and evaluate its quality. Our framework generates multiple diverse visual and text representations of dataset categories. The optimized instruction set outperforms our strongest baseline across 5 folds by 7.06 mAP for NuImages and 12.9 mAP for COCO.