Qual o Dano? Quantificando o Impacto Tangível do Viés de Gênero na Tradução Automática com um Estudo Centrado no Humano

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

October 1, 2024

Autores: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli

cs.AI

Resumo

O viés de gênero na tradução automática (TA) é reconhecido como um problema que pode prejudicar as pessoas e a sociedade. No entanto, os avanços nesse campo raramente envolvem as pessoas, os usuários finais da TA, ou informam como eles podem ser impactados por tecnologias enviesadas. As avaliações atuais frequentemente se restringem a métodos automáticos, que oferecem uma estimativa opaca de qual poderia ser o impacto downstream das disparidades de gênero. Realizamos um extenso estudo centrado no ser humano para examinar se e em que medida o viés na TA traz prejuízos com custos tangíveis, como lacunas na qualidade do serviço entre mulheres e homens. Para esse fim, coletamos dados comportamentais de 90 participantes, que editaram as saídas da TA para garantir a tradução correta de gênero. Através de múltiplos conjuntos de dados, idiomas e tipos de usuários, nosso estudo mostra que a edição pós-tradução feminina demanda significativamente mais esforço técnico e temporal, correspondendo também a custos financeiros mais elevados. No entanto, as medidas de viés existentes falham em refletir as disparidades encontradas. Nossas descobertas defendem abordagens centradas no ser humano que possam informar o impacto societal do viés.

English

Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.