Система Tatoxa для детоксикации текста в малоресурсных языках: на примере татарского языка

Аннотация

Текстовая детоксикация, автоматическое обнаружение и смягчение оскорбительного и вредоносного контента, необходима для обеспечения безопасности онлайн-сообществ и защиты пользователей. Однако языки с ограниченными ресурсами, такие как татарский, получили мало исследовательского внимания. В данной статье мы представляем Tatoxa — новую передовую систему для текстовой детоксикации на татарском языке. Сравнительные эксперименты показывают, что предложенный подход превосходит существующие открытые и проприетарные коммерческие LLM по ключевым показателям качества. Мы также представляем новый набор данных для текстовой детоксикации на татарском языке, предназначенный для тонкой настройки и оценки в условиях ограниченных ресурсов. Наконец, эксперименты по межъязыковому переносу показывают, что перенос с других языков, включая культурно близкий русский, работает значительно хуже, чем обучение на родных татарских данных, даже при наличии большого русского корпуса.

English

Text detoxification, the automated detection and mitigation of abusive and harmful content, is essential for ensuring the safety of online communities and protecting users. However, low resource languages such as Tatar have received little research attention. In this paper we present Tatoxa, a novel state-of-the-art system for text detoxification in the Tatar language. Comparative experiments show that the proposed approach outperforms existing open source and proprietary commercial LLMs on key quality metrics. We also introduce a new dataset for text detoxification in Tatar, designed for fine tuning and evaluation in low resource settings. Finally, cross lingual transfer experiments indicate that transfer from other languages, including the culturally close Russian, performs significantly worse than training on native Tatar data even when a large Russian corpus is available.