Transfert cross-lingual zero-shot pour la génération de données synthétiques dans la détection d'erreurs grammaticales

Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection

July 16, 2024

Auteurs: Gaetan Lopez Latouche, Marc-André Carbonneau, Ben Swanson

cs.AI

Résumé

Les méthodes de détection d'erreurs grammaticales (GED) reposent fortement sur des corpus d'erreurs annotés manuellement. Cependant, ces annotations sont indisponibles dans de nombreuses langues à ressources limitées. Dans cet article, nous étudions la GED dans ce contexte. En exploitant les capacités de transfert multilingue zero-shot des modèles de langage pré-entraînés multilingues, nous entraînons un modèle à l'aide de données provenant d'un ensemble diversifié de langues pour générer des erreurs synthétiques dans d'autres langues. Ces corpus d'erreurs synthétiques sont ensuite utilisés pour entraîner un modèle de GED. Plus précisément, nous proposons un pipeline de fine-tuning en deux étapes où le modèle de GED est d'abord affiné sur des données synthétiques multilingues provenant des langues cibles, puis affiné sur des corpus de GED annotés manuellement provenant de langues sources. Cette approche surpasse les méthodes actuelles de GED sans annotation de pointe. Nous analysons également les erreurs produites par notre méthode et d'autres modèles de référence solides, constatant que notre approche génère des erreurs plus diversifiées et plus similaires aux erreurs humaines.

English

Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.