Het verbeteren van taalplasticiteit via voorafgaande training met actief vergeten

Improving Language Plasticity via Pretraining with Active Forgetting

July 3, 2023

Auteurs: Yihong Chen, Kelly Marchisio, Roberta Raileanu, David Ifeoluwa Adelani, Pontus Stenetor, Sebastian Riedel, Mikel Artetx

cs.AI

Samenvatting

Voorgetrainde taalmodelen (PLMs) zijn tegenwoordig het primaire model voor natuurlijke taalverwerking. Ondanks hun indrukwekkende prestaties op downstream taken, kan het moeilijk zijn om PLMs toe te passen op nieuwe talen, wat een belemmering vormt om hun mogelijkheden universeel toegankelijk te maken. Hoewel eerder onderzoek heeft aangetoond dat dit probleem kan worden aangepakt door een nieuwe embeddinglaag voor de nieuwe taal te leren, is dit zowel data- als rekeninefficiënt. Wij stellen voor om een actief vergeten-mechanisme te gebruiken tijdens het vooraf trainen, als een eenvoudige manier om PLMs te creëren die zich snel kunnen aanpassen aan nieuwe talen. Concreet, door de embeddinglaag elke K updates tijdens het vooraf trainen te resetten, stimuleren we het PLM om zijn vermogen om nieuwe embeddings te leren binnen een beperkt aantal updates te verbeteren, vergelijkbaar met een meta-leer effect. Experimenten met RoBERTa tonen aan dat modellen die zijn voorgetraind met ons vergeten-mechanisme niet alleen sneller convergeren tijdens taaladaptatie, maar ook standaardmodellen overtreffen in een situatie met weinig data, met name voor talen die ver van het Engels af staan.

English

Pretrained language models (PLMs) are today the primary model for natural language processing. Despite their impressive downstream performance, it can be difficult to apply PLMs to new languages, a barrier to making their capabilities universally accessible. While prior work has shown it possible to address this issue by learning a new embedding layer for the new language, doing so is both data and compute inefficient. We propose to use an active forgetting mechanism during pretraining, as a simple way of creating PLMs that can quickly adapt to new languages. Concretely, by resetting the embedding layer every K updates during pretraining, we encourage the PLM to improve its ability of learning new embeddings within a limited number of updates, similar to a meta-learning effect. Experiments with RoBERTa show that models pretrained with our forgetting mechanism not only demonstrate faster convergence during language adaptation but also outperform standard ones in a low-data regime, particularly for languages that are distant from English.