Wat is het kwaad? Het kwantificeren van de tastbare impact van genderbias in machinale vertaling met een op de mens gerichte studie.

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

October 1, 2024

Auteurs: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli

cs.AI

Samenvatting

Gender bias in machinevertaling (MT) wordt erkend als een probleem dat mensen en de samenleving kan schaden. En toch houden vooruitgang in het vakgebied zelden rekening met mensen, de uiteindelijke MT-gebruikers, of informeren ze over hoe zij mogelijk worden beïnvloed door bevooroordeelde technologieën. Huidige evaluaties zijn vaak beperkt tot automatische methoden, die een ondoorzichtige schatting bieden van wat de downstream impact van genderongelijkheden zou kunnen zijn. We voeren een uitgebreide op de mens gerichte studie uit om te onderzoeken of en in hoeverre bias in MT schade met tastbare kosten met zich meebrengt, zoals kwaliteitsverschillen in dienstverlening tussen vrouwen en mannen. Met dit doel verzamelen we gedragsgegevens van 90 deelnemers, die MT-uitvoer post-editen om correcte gendervertaling te garanderen. Over meerdere datasets, talen en soorten gebruikers laat onze studie zien dat het post-editen van vrouwelijke vertalingen aanzienlijk meer technische en tijdelijke inspanning vergt, wat ook overeenkomt met hogere financiële kosten. Bestaande biasmetingen weerspiegelen echter niet de gevonden ongelijkheden. Onze bevindingen pleiten voor op de mens gerichte benaderingen die de maatschappelijke impact van bias kunnen informeren.

English

Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.