Mejorando la Plasticidad del Lenguaje mediante Pretrenamiento con Olvido Activo
Improving Language Plasticity via Pretraining with Active Forgetting
July 3, 2023
Autores: Yihong Chen, Kelly Marchisio, Roberta Raileanu, David Ifeoluwa Adelani, Pontus Stenetor, Sebastian Riedel, Mikel Artetx
cs.AI
Resumen
Los modelos de lenguaje preentrenados (PLMs, por sus siglas en inglés) son hoy en día el modelo principal para el procesamiento del lenguaje natural. A pesar de su impresionante rendimiento en tareas posteriores, puede ser difícil aplicar los PLMs a nuevos idiomas, lo que representa una barrera para hacer que sus capacidades sean universalmente accesibles. Si bien trabajos previos han demostrado que es posible abordar este problema aprendiendo una nueva capa de embeddings para el nuevo idioma, hacerlo resulta ineficiente tanto en términos de datos como de capacidad computacional. Proponemos utilizar un mecanismo de olvido activo durante el preentrenamiento como una forma sencilla de crear PLMs que puedan adaptarse rápidamente a nuevos idiomas. Concretamente, al reiniciar la capa de embeddings cada K actualizaciones durante el preentrenamiento, fomentamos que el PLM mejore su capacidad para aprender nuevos embeddings en un número limitado de actualizaciones, similar a un efecto de metaaprendizaje. Los experimentos con RoBERTa muestran que los modelos preentrenados con nuestro mecanismo de olvido no solo demuestran una convergencia más rápida durante la adaptación a nuevos idiomas, sino que también superan a los modelos estándar en escenarios de pocos datos, particularmente para idiomas que están lingüísticamente distantes del inglés.
English
Pretrained language models (PLMs) are today the primary model for natural
language processing. Despite their impressive downstream performance, it can be
difficult to apply PLMs to new languages, a barrier to making their
capabilities universally accessible. While prior work has shown it possible to
address this issue by learning a new embedding layer for the new language,
doing so is both data and compute inefficient. We propose to use an active
forgetting mechanism during pretraining, as a simple way of creating PLMs that
can quickly adapt to new languages. Concretely, by resetting the embedding
layer every K updates during pretraining, we encourage the PLM to improve its
ability of learning new embeddings within a limited number of updates, similar
to a meta-learning effect. Experiments with RoBERTa show that models pretrained
with our forgetting mechanism not only demonstrate faster convergence during
language adaptation but also outperform standard ones in a low-data regime,
particularly for languages that are distant from English.