Denken wie ein Annotator: Erstellung von Anweisungen zur Datensatzbeschriftung

Thinking Like an Annotator: Generation of Dataset Labeling Instructions

June 24, 2023

Autoren: Nadine Chang, Francesco Ferroni, Michael J. Tarr, Martial Hebert, Deva Ramanan

cs.AI

Zusammenfassung

Große Datensätze sind für das moderne Deep Learning unerlässlich. Befürworter argumentieren, dass das Verständnis dieser Methoden Transparenz in Bezug auf die Datensätze erfordert (z. B. „Datensatzkuration, Motivation, Zusammensetzung, Erfassungsprozess usw.“). Allerdings hat fast niemand die Veröffentlichung der detaillierten Definitionen und visuellen Kategoriebeispiele vorgeschlagen, die den Annotatoren zur Verfügung gestellt wurden – Informationen, die entscheidend für das Verständnis der Struktur der Annotationen in jedem Datensatz sind. Diese Labels sind das Herzstück öffentlicher Datensätze, doch nur wenige Datensätze enthalten die Anweisungen, die zu ihrer Erstellung verwendet wurden. Wir stellen eine neue Aufgabe vor, die Erzeugung von Beschriftungsanweisungen (Labeling Instruction Generation), um das Fehlen öffentlich verfügbarer Beschriftungsanweisungen zu beheben. Bei der Erzeugung von Beschriftungsanweisungen nehmen wir einen angemessen annotierten Datensatz und: 1) generieren eine Reihe von Beispielen, die jede Kategorie im Datensatz visuell repräsentieren; 2) liefern ein Textlabel, das jedem der Beispiele entspricht. Wir stellen ein Framework vor, das kein Modelltraining erfordert, um diese Aufgabe zu lösen, und ein neu entwickeltes schnelles Retrieval-System umfasst, das ein großes, vortrainiertes Modell für Vision und Sprache nutzt. Dieses Framework fungiert als Stellvertreter für menschliche Annotatoren, das sowohl bei der Erstellung eines endgültigen Beschriftungsanweisungssatzes als auch bei der Bewertung seiner Qualität helfen kann. Unser Framework generiert mehrere vielfältige visuelle und textuelle Darstellungen der Datensatzkategorien. Der optimierte Anweisungssatz übertrifft unsere stärkste Baseline über 5 Folds um 7,06 mAP für NuImages und 12,9 mAP für COCO.

English

Large-scale datasets are essential to modern day deep learning. Advocates argue that understanding these methods requires dataset transparency (e.g. "dataset curation, motivation, composition, collection process, etc..."). However, almost no one has suggested the release of the detailed definitions and visual category examples provided to annotators - information critical to understanding the structure of the annotations present in each dataset. These labels are at the heart of public datasets, yet few datasets include the instructions that were used to generate them. We introduce a new task, Labeling Instruction Generation, to address missing publicly available labeling instructions. In Labeling Instruction Generation, we take a reasonably annotated dataset and: 1) generate a set of examples that are visually representative of each category in the dataset; 2) provide a text label that corresponds to each of the examples. We introduce a framework that requires no model training to solve this task and includes a newly created rapid retrieval system that leverages a large, pre-trained vision and language model. This framework acts as a proxy to human annotators that can help to both generate a final labeling instruction set and evaluate its quality. Our framework generates multiple diverse visual and text representations of dataset categories. The optimized instruction set outperforms our strongest baseline across 5 folds by 7.06 mAP for NuImages and 12.9 mAP for COCO.