FACET: Benchmark für die Bewertung von Fairness in der Computer Vision

Zusammenfassung

Computervision-Modelle weisen bekannte Leistungsunterschiede in Bezug auf Attribute wie Geschlecht und Hautton auf. Dies bedeutet, dass bei Aufgaben wie Klassifikation und Objekterkennung die Modellleistung für bestimmte Klassen je nach den demografischen Merkmalen der Personen im Bild variiert. Diese Disparitäten wurden nachgewiesen, aber bislang gab es keinen einheitlichen Ansatz, um diese Unterschiede für gängige Anwendungsfälle von Computervision-Modellen zu messen. Wir stellen einen neuen Benchmark namens FACET (FAirness in Computer Vision EvaluaTion) vor, einen großen, öffentlich verfügbaren Evaluationsdatensatz mit 32.000 Bildern für einige der häufigsten Vision-Aufgaben – Bildklassifikation, Objekterkennung und Segmentierung. Für jedes Bild in FACET haben wir Experten beauftragt, personenbezogene Attribute wie wahrgenommenen Hautton und Haartyp manuell zu annotieren, Bounding Boxes zu zeichnen und fein granulierte, personenbezogene Klassen wie DJ oder Gitarrist zu beschriften. Darüber hinaus nutzen wir FACET, um state-of-the-art Vision-Modelle zu bewerten und ein tieferes Verständnis potenzieller Leistungsunterschiede und Herausforderungen über sensible demografische Attribute hinweg zu gewinnen. Mit den umfassenden Annotationen untersuchen wir Modelle sowohl anhand einzelner demografischer Attribute als auch mehrerer Attribute mithilfe eines intersektionalen Ansatzes (z. B. Haarfarbe und wahrgenommener Hautton). Unsere Ergebnisse zeigen, dass Klassifikations-, Erkennungs-, Segmentierungs- und Visual-Grounding-Modelle Leistungsunterschiede über demografische Attribute und deren Überschneidungen hinweg aufweisen. Diese Ungleichheiten deuten darauf hin, dass nicht alle in Datensätzen repräsentierten Personen in diesen Vision-Aufgaben fair und gerecht behandelt werden. Wir hoffen, dass aktuelle und zukünftige Ergebnisse, die unseren Benchmark nutzen, zu faireren und robusteren Vision-Modellen beitragen werden. FACET ist öffentlich unter https://facet.metademolab.com/ verfügbar.

English

Computer vision models have known performance disparities across attributes such as gender and skin tone. This means during tasks such as classification and detection, model performance differs for certain classes based on the demographics of the people in the image. These disparities have been shown to exist, but until now there has not been a unified approach to measure these differences for common use-cases of computer vision models. We present a new benchmark named FACET (FAirness in Computer Vision EvaluaTion), a large, publicly available evaluation set of 32k images for some of the most common vision tasks - image classification, object detection and segmentation. For every image in FACET, we hired expert reviewers to manually annotate person-related attributes such as perceived skin tone and hair type, manually draw bounding boxes and label fine-grained person-related classes such as disk jockey or guitarist. In addition, we use FACET to benchmark state-of-the-art vision models and present a deeper understanding of potential performance disparities and challenges across sensitive demographic attributes. With the exhaustive annotations collected, we probe models using single demographics attributes as well as multiple attributes using an intersectional approach (e.g. hair color and perceived skin tone). Our results show that classification, detection, segmentation, and visual grounding models exhibit performance disparities across demographic attributes and intersections of attributes. These harms suggest that not all people represented in datasets receive fair and equitable treatment in these vision tasks. We hope current and future results using our benchmark will contribute to fairer, more robust vision models. FACET is available publicly at https://facet.metademolab.com/

FACET: Benchmark für die Bewertung von Fairness in der Computer Vision

FACET: Fairness in Computer Vision Evaluation Benchmark

Zusammenfassung

Support