Verbesserung der Sprachplastizität durch Vortraining mit aktivem Vergessen
Improving Language Plasticity via Pretraining with Active Forgetting
July 3, 2023
Autoren: Yihong Chen, Kelly Marchisio, Roberta Raileanu, David Ifeoluwa Adelani, Pontus Stenetor, Sebastian Riedel, Mikel Artetx
cs.AI
Zusammenfassung
Vortrainierte Sprachmodelle (PLMs) sind heute das primäre Modell für die Verarbeitung natürlicher Sprache. Trotz ihrer beeindruckenden Leistung bei nachgelagerten Aufgaben kann es schwierig sein, PLMs auf neue Sprachen anzuwenden, was eine Barriere für den universellen Zugang zu ihren Fähigkeiten darstellt. Während frühere Arbeiten gezeigt haben, dass dieses Problem durch das Lernen einer neuen Einbettungsschicht für die neue Sprache angegangen werden kann, ist dies sowohl in Bezug auf Daten als auch auf Rechenleistung ineffizient. Wir schlagen vor, einen aktiven Vergessensmechanismus während des Vortrainings zu verwenden, um auf einfache Weise PLMs zu erstellen, die sich schnell an neue Sprachen anpassen können. Konkret fördern wir durch das Zurücksetzen der Einbettungsschicht alle K Updates während des Vortrainings die Fähigkeit des PLMs, neue Einbettungen innerhalb einer begrenzten Anzahl von Updates zu lernen, ähnlich einem Meta-Lern-Effekt. Experimente mit RoBERTa zeigen, dass Modelle, die mit unserem Vergessensmechanismus vortrainiert wurden, nicht nur eine schnellere Konvergenz während der Sprachanpassung aufweisen, sondern auch Standardmodelle in einem datenarmen Regime übertreffen, insbesondere für Sprachen, die weit von Englisch entfernt sind.
English
Pretrained language models (PLMs) are today the primary model for natural
language processing. Despite their impressive downstream performance, it can be
difficult to apply PLMs to new languages, a barrier to making their
capabilities universally accessible. While prior work has shown it possible to
address this issue by learning a new embedding layer for the new language,
doing so is both data and compute inefficient. We propose to use an active
forgetting mechanism during pretraining, as a simple way of creating PLMs that
can quickly adapt to new languages. Concretely, by resetting the embedding
layer every K updates during pretraining, we encourage the PLM to improve its
ability of learning new embeddings within a limited number of updates, similar
to a meta-learning effect. Experiments with RoBERTa show that models pretrained
with our forgetting mechanism not only demonstrate faster convergence during
language adaptation but also outperform standard ones in a low-data regime,
particularly for languages that are distant from English.