¿Cuál es el Daño? Cuantificando el Impacto Tangible del Sesgo de Género en la Traducción Automática con un Estudio Centrado en el Humano

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

October 1, 2024

Autores: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli

cs.AI

Resumen

El sesgo de género en la traducción automática (TA) es reconocido como un problema que puede perjudicar a las personas y a la sociedad. Sin embargo, los avances en el campo rara vez involucran a las personas, los usuarios finales de la TA, o informan cómo podrían verse afectados por las tecnologías sesgadas. Las evaluaciones actuales suelen estar restringidas a métodos automáticos, que ofrecen una estimación opaca de cuál podría ser el impacto downstream de las disparidades de género. Realizamos un extenso estudio centrado en el ser humano para examinar si y en qué medida el sesgo en la TA ocasiona perjuicios con costos tangibles, como brechas en la calidad del servicio entre mujeres y hombres. Con este fin, recopilamos datos de comportamiento de 90 participantes, quienes editaron las salidas de la TA para garantizar una traducción de género correcta. A través de múltiples conjuntos de datos, idiomas y tipos de usuarios, nuestro estudio muestra que la edición posterior femenina requiere significativamente más esfuerzo técnico y temporal, lo que también se traduce en mayores costos financieros. Sin embargo, las mediciones de sesgo existentes no reflejan las disparidades encontradas. Nuestros hallazgos abogan por enfoques centrados en el ser humano que puedan informar sobre el impacto societal del sesgo.

English

Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.