ゼロショット言語間転移による文法誤り検出のための合成データ生成

Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection

July 16, 2024

著者: Gaetan Lopez Latouche, Marc-André Carbonneau, Ben Swanson

cs.AI

要旨

文法誤り検出（GED）手法は、人間による注釈付き誤りコーパスに大きく依存しています。しかし、多くの低リソース言語ではこれらの注釈が利用できません。本論文では、このような状況下でのGEDを調査します。多言語事前学習言語モデルのゼロショット言語間転移能力を活用し、多様な言語のデータを使用して他の言語での合成誤りを生成するモデルを訓練します。これらの合成誤りコーパスは、GEDモデルの訓練に使用されます。具体的には、2段階のファインチューニングパイプラインを提案します。まず、GEDモデルを対象言語からの多言語合成データでファインチューニングし、その後、ソース言語からの人間による注釈付きGEDコーパスでファインチューニングします。このアプローチは、現在の最先端の注釈不要GED手法を上回ります。また、我々の手法や他の強力なベースラインが生成する誤りを分析し、我々のアプローチがより多様で人間の誤りに近い誤りを生成することを明らかにしました。

English

Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.