Нулевая кросс-языковая передача для генерации синтетических данных в обнаружении грамматических ошибок.

Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection

July 16, 2024

Авторы: Gaetan Lopez Latouche, Marc-André Carbonneau, Ben Swanson

cs.AI

Аннотация

Методы обнаружения грамматических ошибок (GED) сильно зависят от аннотированных человеком корпусов ошибок. Однако такие аннотации недоступны во многих языках с ограниченными ресурсами. В данной статье мы исследуем GED в этом контексте. Используя возможности нулевой переносимости между языками мультиязычных предварительно обученных языковых моделей, мы обучаем модель, используя данные из разнообразного набора языков, для создания синтетических ошибок на других языках. Эти синтетические корпуса ошибок затем используются для обучения модели GED. Конкретно, мы предлагаем двухэтапную процедуру дообучения, где модель GED сначала дообучается на мультиязычных синтетических данных из целевых языков, а затем на данных с аннотациями ошибок GED из исходных языков. Этот подход превосходит текущие передовые методы GED без аннотаций. Мы также анализируем ошибки, порожденные нашим методом и другими сильными базовыми моделями, обнаруживая, что наш подход порождает ошибки, которые более разнообразны и более похожи на человеческие ошибки.

English

Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.