Welcher Schaden entsteht? Quantifizierung des greifbaren Einflusses von Geschlechterbias in der maschinellen Übersetzung durch eine studiezentrierte Untersuchung.

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

October 1, 2024

Autoren: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli

cs.AI

Zusammenfassung

Geschlechterbias in maschineller Übersetzung (MT) wird als Problem anerkannt, das Menschen und die Gesellschaft schädigen kann. Und dennoch beinhalten Fortschritte auf diesem Gebiet selten Menschen, die endgültigen MT-Benutzer, oder informieren darüber, wie sie von voreingenommenen Technologien beeinflusst werden könnten. Aktuelle Bewertungen beschränken sich oft auf automatische Methoden, die eine undurchsichtige Schätzung dessen bieten, welche Auswirkungen geschlechtsspezifische Ungleichheiten haben könnten. Wir führen eine umfangreiche studie durch, die sich auf den Menschen konzentriert, um zu untersuchen, ob und inwieweit Bias in MT Schäden mit greifbaren Kosten verursacht, wie Qualitätsunterschiede bei der Dienstleistung zwischen Frauen und Männern. Zu diesem Zweck sammeln wir Verhaltensdaten von 90 Teilnehmern, die MT-Ausgaben nachbearbeitet haben, um eine korrekte Geschlechtsübersetzung sicherzustellen. Über mehrere Datensätze, Sprachen und Arten von Benutzern hinweg zeigt unsere Studie, dass die nachträgliche Bearbeitung im Femininen signifikant mehr technischen und zeitlichen Aufwand erfordert, was auch höheren finanziellen Kosten entspricht. Die bestehenden Bias-Messungen spiegeln jedoch nicht die gefundenen Unterschiede wider. Unsere Ergebnisse plädieren für menschenzentrierte Ansätze, die über die gesellschaftliche Auswirkung von Bias informieren können.

English

Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.