Transferencia interlingüística sin entrenamiento para la generación de datos sintéticos en la detección de errores gramaticales

Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection

July 16, 2024

Autores: Gaetan Lopez Latouche, Marc-André Carbonneau, Ben Swanson

cs.AI

Resumen

Los métodos de Detección de Errores Gramaticales (GED) dependen en gran medida de corpora de errores anotados por humanos. Sin embargo, estas anotaciones no están disponibles en muchos idiomas con recursos limitados. En este artículo, investigamos la GED en este contexto. Aprovechando las capacidades de transferencia multilingüe de cero disparos de modelos de lenguaje pre-entrenados multilingües, entrenamos un modelo utilizando datos de un conjunto diverso de idiomas para generar errores sintéticos en otros idiomas. Estos corpora de errores sintéticos luego se utilizan para entrenar un modelo de GED. Específicamente, proponemos un proceso de ajuste fino de dos etapas donde el modelo de GED se ajusta primero con datos sintéticos multilingües de los idiomas objetivo, seguido por un ajuste fino con corpora de GED anotados por humanos de los idiomas fuente. Este enfoque supera a los métodos actuales de GED sin anotaciones de vanguardia. También analizamos los errores producidos por nuestro método y otros baselines sólidos, encontrando que nuestro enfoque produce errores más diversos y más similares a los errores humanos.

English

Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.