Quel est le préjudice ? Quantification de l'impact tangible du biais de genre dans la traduction automatique grâce à une étude centrée sur l'humain

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

October 1, 2024

Auteurs: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli

cs.AI

Résumé

Les biais de genre dans la traduction automatique (TA) sont reconnus comme un problème pouvant nuire aux individus et à la société. Pourtant, les avancées dans le domaine impliquent rarement les utilisateurs finaux de la TA ou ne tiennent pas compte de l'impact potentiel des technologies biaisées sur ces derniers. Les évaluations actuelles se limitent souvent à des méthodes automatiques, offrant une estimation opaque des conséquences des disparités de genre. Nous menons une étude approfondie centrée sur l'humain pour examiner si et dans quelle mesure les biais dans la TA entraînent des préjudices avec des coûts tangibles, tels que des écarts de qualité de service entre les femmes et les hommes. Dans cette optique, nous collectons des données comportementales auprès de 90 participants, qui ont corrigé les sorties de la TA pour assurer une traduction correcte du genre. À travers plusieurs ensembles de données, langues et types d'utilisateurs, notre étude montre que la correction post-traitement au féminin demande significativement plus d'efforts techniques et temporels, se traduisant également par des coûts financiers plus élevés. Cependant, les mesures de biais existantes ne reflètent pas les disparités constatées. Nos résultats plaident en faveur d'approches centrées sur l'humain pouvant éclairer l'impact sociétal des biais.

English

Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.