Pensando como un Anotador: Generación de Instrucciones para el Etiquetado de Conjuntos de Datos

Thinking Like an Annotator: Generation of Dataset Labeling Instructions

June 24, 2023

Autores: Nadine Chang, Francesco Ferroni, Michael J. Tarr, Martial Hebert, Deva Ramanan

cs.AI

Resumen

Los conjuntos de datos a gran escala son esenciales para el aprendizaje profundo moderno. Los defensores argumentan que comprender estos métodos requiere transparencia en los conjuntos de datos (por ejemplo, "curación de datos, motivación, composición, proceso de recopilación, etc."). Sin embargo, casi nadie ha sugerido la publicación de las definiciones detalladas y los ejemplos visuales de categorías proporcionados a los anotadores, información crucial para entender la estructura de las anotaciones presentes en cada conjunto de datos. Estas etiquetas son el núcleo de los conjuntos de datos públicos, pero pocos incluyen las instrucciones que se utilizaron para generarlas. Introducimos una nueva tarea, la Generación de Instrucciones de Etiquetado, para abordar la falta de instrucciones de etiquetado disponibles públicamente. En la Generación de Instrucciones de Etiquetado, tomamos un conjunto de datos razonablemente anotado y: 1) generamos un conjunto de ejemplos que son visualmente representativos de cada categoría en el conjunto de datos; 2) proporcionamos una etiqueta de texto que corresponde a cada uno de los ejemplos. Introducimos un marco que no requiere entrenamiento de modelos para resolver esta tarea e incluye un sistema de recuperación rápida recién creado que aprovecha un modelo de visión y lenguaje preentrenado a gran escala. Este marco actúa como un sustituto de los anotadores humanos que puede ayudar tanto a generar un conjunto final de instrucciones de etiquetado como a evaluar su calidad. Nuestro marco genera múltiples representaciones visuales y textuales diversas de las categorías del conjunto de datos. El conjunto de instrucciones optimizado supera nuestra línea base más fuerte en 5 iteraciones por 7.06 mAP para NuImages y 12.9 mAP para COCO.

English

Large-scale datasets are essential to modern day deep learning. Advocates argue that understanding these methods requires dataset transparency (e.g. "dataset curation, motivation, composition, collection process, etc..."). However, almost no one has suggested the release of the detailed definitions and visual category examples provided to annotators - information critical to understanding the structure of the annotations present in each dataset. These labels are at the heart of public datasets, yet few datasets include the instructions that were used to generate them. We introduce a new task, Labeling Instruction Generation, to address missing publicly available labeling instructions. In Labeling Instruction Generation, we take a reasonably annotated dataset and: 1) generate a set of examples that are visually representative of each category in the dataset; 2) provide a text label that corresponds to each of the examples. We introduce a framework that requires no model training to solve this task and includes a newly created rapid retrieval system that leverages a large, pre-trained vision and language model. This framework acts as a proxy to human annotators that can help to both generate a final labeling instruction set and evaluate its quality. Our framework generates multiple diverse visual and text representations of dataset categories. The optimized instruction set outperforms our strongest baseline across 5 folds by 7.06 mAP for NuImages and 12.9 mAP for COCO.