Melhorando a Plasticidade da Linguagem por meio de Pré-treinamento com Esquecimento Ativo

Improving Language Plasticity via Pretraining with Active Forgetting

July 3, 2023

Autores: Yihong Chen, Kelly Marchisio, Roberta Raileanu, David Ifeoluwa Adelani, Pontus Stenetor, Sebastian Riedel, Mikel Artetx

cs.AI

Resumo

Modelos de linguagem pré-treinados (PLMs) são atualmente o principal modelo para processamento de linguagem natural. Apesar de seu desempenho impressionante em tarefas subsequentes, pode ser difícil aplicar PLMs a novos idiomas, o que representa uma barreira para tornar suas capacidades universalmente acessíveis. Embora trabalhos anteriores tenham demonstrado ser possível abordar essa questão aprendendo uma nova camada de embeddings para o novo idioma, fazer isso é ineficiente tanto em termos de dados quanto de computação. Propomos o uso de um mecanismo de esquecimento ativo durante o pré-treinamento, como uma maneira simples de criar PLMs que possam se adaptar rapidamente a novos idiomas. Concretamente, ao redefinir a camada de embeddings a cada K atualizações durante o pré-treinamento, incentivamos o PLM a melhorar sua capacidade de aprender novos embeddings dentro de um número limitado de atualizações, semelhante a um efeito de meta-aprendizado. Experimentos com o RoBERTa mostram que modelos pré-treinados com nosso mecanismo de esquecimento não apenas demonstram convergência mais rápida durante a adaptação de idiomas, mas também superam os modelos padrão em cenários de baixo volume de dados, particularmente para idiomas distantes do inglês.

English

Pretrained language models (PLMs) are today the primary model for natural language processing. Despite their impressive downstream performance, it can be difficult to apply PLMs to new languages, a barrier to making their capabilities universally accessible. While prior work has shown it possible to address this issue by learning a new embedding layer for the new language, doing so is both data and compute inefficient. We propose to use an active forgetting mechanism during pretraining, as a simple way of creating PLMs that can quickly adapt to new languages. Concretely, by resetting the embedding layer every K updates during pretraining, we encourage the PLM to improve its ability of learning new embeddings within a limited number of updates, similar to a meta-learning effect. Experiments with RoBERTa show that models pretrained with our forgetting mechanism not only demonstrate faster convergence during language adaptation but also outperform standard ones in a low-data regime, particularly for languages that are distant from English.