Le système Tatoxa pour la détoxification de texte dans les langues à faibles ressources : le cas du tatar

Résumé

La détoxification du texte, c'est-à-dire la détection et l'atténuation automatisées des contenus abusifs et nuisibles, est essentielle pour garantir la sécurité des communautés en ligne et protéger les utilisateurs. Cependant, les langues à faibles ressources telles que le tatar ont reçu peu d'attention de la part de la recherche. Dans cet article, nous présentons Tatoxa, un nouveau système à la pointe de la technologie pour la détoxification du texte en langue tatare. Des expériences comparatives montrent que l'approche proposée surpasse les LLMs open source et commerciaux propriétaires existants sur des métriques de qualité clés. Nous introduisons également un nouveau jeu de données pour la détoxification du texte en tatar, conçu pour le réglage fin et l'évaluation dans des contextes à faibles ressources. Enfin, les expériences de transfert interlingue indiquent qu'un transfert depuis d'autres langues, y compris le russe culturellement proche, obtient des performances nettement inférieures à celles d'un entraînement sur des données natives en tatar, même lorsqu'un grand corpus russe est disponible.

English

Text detoxification, the automated detection and mitigation of abusive and harmful content, is essential for ensuring the safety of online communities and protecting users. However, low resource languages such as Tatar have received little research attention. In this paper we present Tatoxa, a novel state-of-the-art system for text detoxification in the Tatar language. Comparative experiments show that the proposed approach outperforms existing open source and proprietary commercial LLMs on key quality metrics. We also introduce a new dataset for text detoxification in Tatar, designed for fine tuning and evaluation in low resource settings. Finally, cross lingual transfer experiments indicate that transfer from other languages, including the culturally close Russian, performs significantly worse than training on native Tatar data even when a large Russian corpus is available.