FACET: Punto de Referencia para la Evaluación de Equidad en Visión por Computador

Resumen

Los modelos de visión por computadora presentan disparidades de rendimiento conocidas en atributos como el género y el tono de piel. Esto significa que, durante tareas como clasificación y detección, el rendimiento del modelo varía para ciertas clases según las características demográficas de las personas en la imagen. Estas disparidades han sido demostradas, pero hasta ahora no existía un enfoque unificado para medir estas diferencias en casos de uso comunes de modelos de visión por computadora. Presentamos un nuevo punto de referencia llamado FACET (FAirness in Computer Vision EvaluaTion), un conjunto de evaluación grande y públicamente disponible de 32k imágenes para algunas de las tareas de visión más comunes: clasificación de imágenes, detección de objetos y segmentación. Para cada imagen en FACET, contratamos revisores expertos para anotar manualmente atributos relacionados con personas, como el tono de piel percibido y el tipo de cabello, dibujar manualmente cuadros delimitadores y etiquetar clases detalladas relacionadas con personas, como disc jockey o guitarrista. Además, utilizamos FACET para evaluar modelos de visión de última generación y presentar una comprensión más profunda de las posibles disparidades de rendimiento y desafíos en atributos demográficos sensibles. Con las anotaciones exhaustivas recopiladas, analizamos los modelos utilizando atributos demográficos individuales, así como múltiples atributos mediante un enfoque interseccional (por ejemplo, color de cabello y tono de piel percibido). Nuestros resultados muestran que los modelos de clasificación, detección, segmentación y anclaje visual exhiben disparidades de rendimiento en atributos demográficos e intersecciones de atributos. Estos daños sugieren que no todas las personas representadas en los conjuntos de datos reciben un tratamiento justo y equitativo en estas tareas de visión. Esperamos que los resultados actuales y futuros utilizando nuestro punto de referencia contribuyan a modelos de visión más justos y robustos. FACET está disponible públicamente en https://facet.metademolab.com/.

English

Computer vision models have known performance disparities across attributes such as gender and skin tone. This means during tasks such as classification and detection, model performance differs for certain classes based on the demographics of the people in the image. These disparities have been shown to exist, but until now there has not been a unified approach to measure these differences for common use-cases of computer vision models. We present a new benchmark named FACET (FAirness in Computer Vision EvaluaTion), a large, publicly available evaluation set of 32k images for some of the most common vision tasks - image classification, object detection and segmentation. For every image in FACET, we hired expert reviewers to manually annotate person-related attributes such as perceived skin tone and hair type, manually draw bounding boxes and label fine-grained person-related classes such as disk jockey or guitarist. In addition, we use FACET to benchmark state-of-the-art vision models and present a deeper understanding of potential performance disparities and challenges across sensitive demographic attributes. With the exhaustive annotations collected, we probe models using single demographics attributes as well as multiple attributes using an intersectional approach (e.g. hair color and perceived skin tone). Our results show that classification, detection, segmentation, and visual grounding models exhibit performance disparities across demographic attributes and intersections of attributes. These harms suggest that not all people represented in datasets receive fair and equitable treatment in these vision tasks. We hope current and future results using our benchmark will contribute to fairer, more robust vision models. FACET is available publicly at https://facet.metademolab.com/

FACET: Punto de Referencia para la Evaluación de Equidad en Visión por Computador

FACET: Fairness in Computer Vision Evaluation Benchmark

Resumen

Support