El Sistema Tatoxa para la desintoxicación de texto en lenguas con pocos recursos: el caso del tártaro

Resumen

La desintoxicación de texto, es decir, la detección y mitigación automatizada de contenido abusivo y dañino, es esencial para garantizar la seguridad de las comunidades en línea y proteger a los usuarios. Sin embargo, las lenguas de bajos recursos, como el tártaro, han recibido poca atención investigativa. En este artículo presentamos Tatoxa, un novedoso sistema de última generación para la desintoxicación de texto en lengua tártara. Los experimentos comparativos muestran que el enfoque propuesto supera a los LLMs comerciales propietarios y de código abierto existentes en métricas clave de calidad. También introducimos un nuevo conjunto de datos para la desintoxicación de texto en tártaro, diseñado para el ajuste fino y la evaluación en entornos de bajos recursos. Finalmente, los experimentos de transferencia interlingüística indican que la transferencia desde otros idiomas, incluido el ruso culturalmente cercano, tiene un rendimiento significativamente peor que el entrenamiento con datos nativos en tártaro, incluso cuando se dispone de un amplio corpus en ruso.

English

Text detoxification, the automated detection and mitigation of abusive and harmful content, is essential for ensuring the safety of online communities and protecting users. However, low resource languages such as Tatar have received little research attention. In this paper we present Tatoxa, a novel state-of-the-art system for text detoxification in the Tatar language. Comparative experiments show that the proposed approach outperforms existing open source and proprietary commercial LLMs on key quality metrics. We also introduce a new dataset for text detoxification in Tatar, designed for fine tuning and evaluation in low resource settings. Finally, cross lingual transfer experiments indicate that transfer from other languages, including the culturally close Russian, performs significantly worse than training on native Tatar data even when a large Russian corpus is available.