SynthDetoxM: Moderne LLMs sind Few-Shot Parallel Detoxification Data Annotators.

SynthDetoxM: Modern LLMs are Few-Shot Parallel Detoxification Data Annotators

February 10, 2025

Autoren: Daniil Moskovskiy, Nikita Sushko, Sergey Pletenev, Elena Tutubalina, Alexander Panchenko

cs.AI

Zusammenfassung

Die bestehenden Ansätze zur multilingualen Textentgiftung werden durch die Knappheit von parallelen mehrsprachigen Datensätzen behindert. In dieser Arbeit stellen wir eine Pipeline zur Generierung von multilingualen parallelen Entgiftungsdaten vor. Wir präsentieren auch SynthDetoxM, einen manuell gesammelten und synthetisch generierten mehrsprachigen parallelen Textentgiftungsdatensatz, der 16.000 hochwertige Entgiftungssatzpaare in Deutsch, Französisch, Spanisch und Russisch umfasst. Die Daten wurden aus verschiedenen Toxizitätsbewertungsdatensätzen bezogen und dann mit neun modernen Open-Source-Sprachmodellen im Few-Shot-Setting umgeschrieben. Unsere Experimente zeigen, dass Modelle, die auf den produzierten synthetischen Datensätzen trainiert wurden, eine überlegene Leistung im Vergleich zu denen auf dem human-annotierten MultiParaDetox-Datensatz haben, selbst bei begrenzten Daten. Modelle, die auf SynthDetoxM trainiert sind, übertreffen alle evaluierten Sprachmodelle im Few-Shot-Setting. Wir veröffentlichen unseren Datensatz und Code, um weitere Forschungen zur multilingualen Textentgiftung zu unterstützen.

English

Existing approaches to multilingual text detoxification are hampered by the scarcity of parallel multilingual datasets. In this work, we introduce a pipeline for the generation of multilingual parallel detoxification data. We also introduce SynthDetoxM, a manually collected and synthetically generated multilingual parallel text detoxification dataset comprising 16,000 high-quality detoxification sentence pairs across German, French, Spanish and Russian. The data was sourced from different toxicity evaluation datasets and then rewritten with nine modern open-source LLMs in few-shot setting. Our experiments demonstrate that models trained on the produced synthetic datasets have superior performance to those trained on the human-annotated MultiParaDetox dataset even in data limited setting. Models trained on SynthDetoxM outperform all evaluated LLMs in few-shot setting. We release our dataset and code to help further research in multilingual text detoxification.