Nullschuss-Querlinguale Übertragung für die Generierung synthetischer Daten in der Grammatikfehlererkennung

Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection

July 16, 2024

Autoren: Gaetan Lopez Latouche, Marc-André Carbonneau, Ben Swanson

cs.AI

Zusammenfassung

Grammatische Fehlererkennung (GED)-Methoden stützen sich stark auf menschlich annotierte Fehlerkorpora. Diese Annotationen sind jedoch in vielen sprachlich ressourcenarmen Sprachen nicht verfügbar. In diesem Artikel untersuchen wir GED in diesem Kontext. Durch Nutzung der Null-Schuss kreissprachlichen Transferfähigkeiten mehrsprachiger vorab trainierter Sprachmodelle trainieren wir ein Modell unter Verwendung von Daten aus einer vielfältigen Sprachauswahl, um synthetische Fehler in anderen Sprachen zu generieren. Diese synthetischen Fehlerkorpora werden dann verwendet, um ein GED-Modell zu trainieren. Konkret schlagen wir einen zweistufigen Feinabstimmungspipeline vor, bei der das GED-Modell zunächst auf mehrsprachigen synthetischen Daten aus Zielsprachen und anschließend auf menschlich annotierten GED-Korpora aus Ausgangssprachen feinabgestimmt wird. Dieser Ansatz übertrifft aktuelle state-of-the-art annotationsfreie GED-Methoden. Wir analysieren auch die Fehler, die von unserer Methode und anderen starken Baselines produziert werden, und stellen fest, dass unser Ansatz Fehler erzeugt, die vielfältiger und menschenähnlicher sind.

English

Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.