Transferência Cruzada sem Supervisão para Geração de Dados Sintéticos na Detecção de Erros Gramaticais

Zero-shot Cross-Lingual Transfer for Synthetic Data Generation in Grammatical Error Detection

July 16, 2024

Autores: Gaetan Lopez Latouche, Marc-André Carbonneau, Ben Swanson

cs.AI

Resumo

Os métodos de Detecção de Erros Gramaticais (GED) dependem fortemente de corpora de erros anotados por humanos. No entanto, essas anotações não estão disponíveis em muitos idiomas de recursos limitados. Neste artigo, investigamos o GED nesse contexto. Aproveitando as capacidades de transferência interlingual de tarefas zero de modelos de linguagem pré-treinados multilíngues, treinamos um modelo usando dados de um conjunto diversificado de idiomas para gerar erros sintéticos em outros idiomas. Esses corpora de erros sintéticos são então utilizados para treinar um modelo GED. Especificamente, propomos um pipeline de ajuste fino em duas etapas, onde o modelo GED é primeiro ajustado fino em dados sintéticos multilíngues dos idiomas-alvo, seguido pelo ajuste fino em corpora GED anotados por humanos dos idiomas de origem. Esta abordagem supera os métodos atuais de GED sem anotação de estado da arte. Também analisamos os erros produzidos pelo nosso método e por outras bases fortes, constatando que nossa abordagem produz erros mais diversos e mais semelhantes aos erros humanos.

English

Grammatical Error Detection (GED) methods rely heavily on human annotated error corpora. However, these annotations are unavailable in many low-resource languages. In this paper, we investigate GED in this context. Leveraging the zero-shot cross-lingual transfer capabilities of multilingual pre-trained language models, we train a model using data from a diverse set of languages to generate synthetic errors in other languages. These synthetic error corpora are then used to train a GED model. Specifically we propose a two-stage fine-tuning pipeline where the GED model is first fine-tuned on multilingual synthetic data from target languages followed by fine-tuning on human-annotated GED corpora from source languages. This approach outperforms current state-of-the-art annotation-free GED methods. We also analyse the errors produced by our method and other strong baselines, finding that our approach produces errors that are more diverse and more similar to human errors.