Думать как аннотатор: создание инструкций для разметки наборов данных

Thinking Like an Annotator: Generation of Dataset Labeling Instructions

June 24, 2023

Авторы: Nadine Chang, Francesco Ferroni, Michael J. Tarr, Martial Hebert, Deva Ramanan

cs.AI

Аннотация

Крупномасштабные наборы данных играют ключевую роль в современных методах глубокого обучения. Сторонники утверждают, что для понимания этих методов необходима прозрачность данных (например, "процесс курирования, мотивация, состав, сбор данных и т.д."). Однако почти никто не предлагал публиковать подробные определения и визуальные примеры категорий, предоставленные аннотаторам, — информацию, критически важную для понимания структуры аннотаций в каждом наборе данных. Эти метки лежат в основе публичных наборов данных, но лишь немногие из них включают инструкции, использованные для их создания. Мы представляем новую задачу — Генерацию Инструкций по Аннотации, — чтобы восполнить отсутствие публично доступных инструкций по аннотации. В рамках этой задачи мы берем достаточно аннотированный набор данных и: 1) генерируем набор визуально репрезентативных примеров для каждой категории в наборе данных; 2) предоставляем текстовую метку, соответствующую каждому из примеров. Мы представляем фреймворк, который не требует обучения модели для решения этой задачи и включает в себя новую систему быстрого поиска, использующую крупную предобученную модель для работы с изображениями и текстом. Этот фреймворк выступает в качестве замены человеческих аннотаторов, помогая как сгенерировать окончательный набор инструкций по аннотации, так и оценить его качество. Наш фреймворк создает множество разнообразных визуальных и текстовых представлений категорий набора данных. Оптимизированный набор инструкций превосходит наш самый сильный базовый подход на 7.06 mAP для NuImages и на 12.9 mAP для COCO.

English

Large-scale datasets are essential to modern day deep learning. Advocates argue that understanding these methods requires dataset transparency (e.g. "dataset curation, motivation, composition, collection process, etc..."). However, almost no one has suggested the release of the detailed definitions and visual category examples provided to annotators - information critical to understanding the structure of the annotations present in each dataset. These labels are at the heart of public datasets, yet few datasets include the instructions that were used to generate them. We introduce a new task, Labeling Instruction Generation, to address missing publicly available labeling instructions. In Labeling Instruction Generation, we take a reasonably annotated dataset and: 1) generate a set of examples that are visually representative of each category in the dataset; 2) provide a text label that corresponds to each of the examples. We introduce a framework that requires no model training to solve this task and includes a newly created rapid retrieval system that leverages a large, pre-trained vision and language model. This framework acts as a proxy to human annotators that can help to both generate a final labeling instruction set and evaluate its quality. Our framework generates multiple diverse visual and text representations of dataset categories. The optimized instruction set outperforms our strongest baseline across 5 folds by 7.06 mAP for NuImages and 12.9 mAP for COCO.