Улучшение языковой пластичности через предварительное обучение с активным забыванием
Improving Language Plasticity via Pretraining with Active Forgetting
July 3, 2023
Авторы: Yihong Chen, Kelly Marchisio, Roberta Raileanu, David Ifeoluwa Adelani, Pontus Stenetor, Sebastian Riedel, Mikel Artetx
cs.AI
Аннотация
Предобученные языковые модели (PLM) в настоящее время являются основным инструментом для обработки естественного языка. Несмотря на их впечатляющую производительность в решении задач, применение PLM к новым языкам может быть затруднено, что создает барьер для их универсальной доступности. Хотя предыдущие исследования показали, что эту проблему можно решить путем обучения нового слоя эмбеддингов для нового языка, такой подход требует значительных вычислительных ресурсов и данных. Мы предлагаем использовать механизм активного забывания в процессе предобучения как простой способ создания PLM, которые могут быстро адаптироваться к новым языкам. Конкретно, сбрасывая слой эмбеддингов каждые K обновлений во время предобучения, мы стимулируем PLM улучшать способность к обучению новых эмбеддингов за ограниченное число обновлений, что аналогично эффекту метаобучения. Эксперименты с моделью RoBERTa показывают, что модели, предобученные с нашим механизмом забывания, не только демонстрируют более быструю сходимость при адаптации к языкам, но и превосходят стандартные модели в условиях ограниченного объема данных, особенно для языков, далеких от английского.
English
Pretrained language models (PLMs) are today the primary model for natural
language processing. Despite their impressive downstream performance, it can be
difficult to apply PLMs to new languages, a barrier to making their
capabilities universally accessible. While prior work has shown it possible to
address this issue by learning a new embedding layer for the new language,
doing so is both data and compute inefficient. We propose to use an active
forgetting mechanism during pretraining, as a simple way of creating PLMs that
can quickly adapt to new languages. Concretely, by resetting the embedding
layer every K updates during pretraining, we encourage the PLM to improve its
ability of learning new embeddings within a limited number of updates, similar
to a meta-learning effect. Experiments with RoBERTa show that models pretrained
with our forgetting mechanism not only demonstrate faster convergence during
language adaptation but also outperform standard ones in a low-data regime,
particularly for languages that are distant from English.