Предварительное обучение языковой модели как многоперспективного обучающегося курса

Аннотация

Фреймворк предварительного обучения ELECTRA, основанный на архитектуре генератор-дискриминатор, продемонстрировал впечатляющие способности в построении семантики для различных задач. Несмотря на убедительные результаты, ELECTRA сталкивается с проблемами монотонного обучения и недостаточного взаимодействия. Генератор, использующий только моделирование маскированного языка (MLM), приводит к смещённому обучению и дисбалансу меток для дискриминатора, снижая эффективность обучения; отсутствие явной обратной связи от дискриминатора к генератору создаёт разрыв между этими компонентами, недоиспользуя поэтапное обучение. В данном исследовании предлагается метод многоперспективного поэтапного обучения (MCL), который обеспечивает множество степеней и углов зрения для эффективного предварительного обучения и полностью использует взаимосвязь между генератором и дискриминатором. Конкретно, три курса самоконтроля разработаны для устранения врождённых недостатков MLM и балансировки меток многоперспективным способом. Кроме того, предлагаются два курса самокоррекции, чтобы устранить разрыв между двумя кодировщиками путём создания "тетради коррекции" для вторичного контроля. Более того, проводится эксперимент с "супом курсов" для решения проблемы динамики "перетягивания каната" в MCL, что способствует эволюции более сильной предварительно обученной модели. Экспериментальные результаты показывают, что наш метод значительно улучшает среднюю производительность ELECTRA на 2,8% и 3,2% абсолютных пунктов соответственно на бенчмарках GLUE и SQuAD 2.0, превосходя недавние передовые модели в стиле ELECTRA при тех же настройках. Предварительно обученная модель MCL доступна по адресу https://huggingface.co/McmanusChen/MCL-base.

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.

Предварительное обучение языковой модели как многоперспективного обучающегося курса

Pre-training Language Model as a Multi-perspective Course Learner

Аннотация

Support