損害は何か？人間中心の研究による機械翻訳におけるジェンダーバイアスの具体的な影響の数量化

What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study

October 1, 2024

著者: Beatrice Savoldi, Sara Papi, Matteo Negri, Ana Guerberof, Luisa Bentivogli

cs.AI

要旨

機械翻訳（MT）におけるジェンダーバイアスは、人々や社会に害を及ぼす可能性がある問題として認識されています。それにもかかわらず、この分野の進歩は、最終的なMT利用者である人々をほとんど関与させず、また、バイアスの技術が彼らにどのような影響を与えるかを通知することはほとんどありません。現在の評価は、しばしば自動的な方法に制限されており、これにより、ジェンダーの不均衡がもたらす下流への影響を不透明な見積もりで示しています。私たちは、MTにおけるバイアスが、女性と男性の間でサービスの質に関するギャップなどの具体的なコストを伴う害をもたらすかどうかを調査するために、包括的なヒューマンセンタードな研究を実施しています。この目的のために、90人の参加者から行動データを収集し、正しいジェンダーの翻訳を確認するためにMTの出力をポスト編集しました。複数のデータセット、言語、およびユーザータイプにわたり、当社の研究は、女性のポスト編集が著しく技術的および時間的な努力を要し、また、それに対応して費用が高くなることを示しています。ただし、既存のバイアス測定は、見つかった不均衡を反映していません。私たちの調査結果は、バイアスの社会的影響を通知できるヒューマンセンタードなアプローチを提唱しています。

English

Gender bias in machine translation (MT) is recognized as an issue that can harm people and society. And yet, advancements in the field rarely involve people, the final MT users, or inform how they might be impacted by biased technologies. Current evaluations are often restricted to automatic methods, which offer an opaque estimate of what the downstream impact of gender disparities might be. We conduct an extensive human-centered study to examine if and to what extent bias in MT brings harms with tangible costs, such as quality of service gaps across women and men. To this aim, we collect behavioral data from 90 participants, who post-edited MT outputs to ensure correct gender translation. Across multiple datasets, languages, and types of users, our study shows that feminine post-editing demands significantly more technical and temporal effort, also corresponding to higher financial costs. Existing bias measurements, however, fail to reflect the found disparities. Our findings advocate for human-centered approaches that can inform the societal impact of bias.