Какой вред? Количественная оценка ощутимого влияния гендерного предвзятости в машинном переводе с помощью исследования, ориентированного на человека.
What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study
October 1, 2024
Авторы: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli
cs.AI
Аннотация
Предвзятость по половому признаку в машинном переводе (МТ) признана проблемой, способной нанести вред людям и обществу. И все же, достижения в этой области редко включают людей, конечных пользователей МТ, или информируют о том, как они могут пострадать от предвзятых технологий. Текущие оценки часто ограничиваются автоматическими методами, которые предлагают непрозрачную оценку того, каковы могут быть последствия гендерных неравенств. Мы проводим обширное исследование, сосредоточенное на человеке, чтобы изучить, приводит ли предвзятость в МТ к вреду с конкретными издержками, такими как разрывы в качестве обслуживания между женщинами и мужчинами. Для этой цели мы собираем данные о поведении от 90 участников, которые вносили правки в выходные данные МТ, чтобы гарантировать правильный перевод по половому признаку. На протяжении нескольких наборов данных, языков и типов пользователей наше исследование показывает, что женская правка требует значительно больше технических и временных усилий, что также соответствует более высоким финансовым издержкам. Однако существующие измерения предвзятости не отражают обнаруженных различий. Наши результаты выступают за подходы, сосредоточенные на человеке, которые могут информировать об общественном влиянии предвзятости.
English
Gender bias in machine translation (MT) is recognized as an issue that can
harm people and society. And yet, advancements in the field rarely involve
people, the final MT users, or inform how they might be impacted by biased
technologies. Current evaluations are often restricted to automatic methods,
which offer an opaque estimate of what the downstream impact of gender
disparities might be. We conduct an extensive human-centered study to examine
if and to what extent bias in MT brings harms with tangible costs, such as
quality of service gaps across women and men. To this aim, we collect
behavioral data from 90 participants, who post-edited MT outputs to ensure
correct gender translation. Across multiple datasets, languages, and types of
users, our study shows that feminine post-editing demands significantly more
technical and temporal effort, also corresponding to higher financial costs.
Existing bias measurements, however, fail to reflect the found disparities. Our
findings advocate for human-centered approaches that can inform the societal
impact of bias.