Das Tatoxa-System zur Textentgiftung in ressourcenarmen Sprachen: Der Fall des Tatarischen

Zusammenfassung

Text-Entgiftung, die automatisierte Erkennung und Minderung von missbräuchlichen und schädlichen Inhalten, ist entscheidend für die Sicherheit von Online-Gemeinschaften und den Schutz der Nutzer. Allerdings haben ressourcenarme Sprachen wie Tatarisch bisher kaum Forschungsaufmerksamkeit erhalten. In diesem Artikel stellen wir Tatoxa vor, ein neuartiges State-of-the-Art-System zur Text-Entgiftung in der tatarischen Sprache. Vergleichende Experimente zeigen, dass der vorgeschlagene Ansatz bestehende Open-Source- und proprietäre kommerzielle Large Language Models (LLMs) in zentralen Qualitätsmetriken übertrifft. Wir führen außerdem einen neuen Datensatz für die Text-Entgiftung auf Tatarisch ein, der für die Feinabstimmung und Evaluierung in ressourcenarmen Umgebungen ausgelegt ist. Schließlich weisen crosslinguale Transferexperimente darauf hin, dass der Transfer aus anderen Sprachen, einschließlich des kulturell nahen Russischen, selbst bei Verfügbarkeit eines großen russischen Korpus deutlich schlechter abschneidet als das Training mit muttersprachlichen tatarischen Daten.

English

Text detoxification, the automated detection and mitigation of abusive and harmful content, is essential for ensuring the safety of online communities and protecting users. However, low resource languages such as Tatar have received little research attention. In this paper we present Tatoxa, a novel state-of-the-art system for text detoxification in the Tatar language. Comparative experiments show that the proposed approach outperforms existing open source and proprietary commercial LLMs on key quality metrics. We also introduce a new dataset for text detoxification in Tatar, designed for fine tuning and evaluation in low resource settings. Finally, cross lingual transfer experiments indicate that transfer from other languages, including the culturally close Russian, performs significantly worse than training on native Tatar data even when a large Russian corpus is available.