Vooraf trainen van Taalmodellen als een Multi-perspectief Cursusleerling

Samenvatting

ELECTRA, het generator-discriminator pre-trainingsraamwerk, heeft indrukwekkende semantische constructiecapaciteit bereikt bij verschillende downstream taken. Ondanks de overtuigende prestaties, kampt ELECTRA nog steeds met uitdagingen zoals eentonige training en gebrekkige interactie. Een generator met alleen gemaskeerde taalmodellering (MLM) leidt tot bevooroordeeld leren en labelonbalans voor de discriminator, wat de leer efficiëntie vermindert; het ontbreken van een expliciete feedbacklus van discriminator naar generator resulteert in een kloof tussen deze twee componenten, waardoor het cursusleren onderbenut blijft. In deze studie wordt een multi-perspectief cursusleren (MCL) methode voorgesteld om een veelheid aan gradaties en gezichtspunten te bieden voor sample-efficiënte pre-training, en om de relatie tussen generator en discriminator volledig te benutten. Concreet worden drie zelfsupervisiecursussen ontworpen om inherente tekortkomingen van MLM te verlichten en de labelbalans op een multi-perspectieve manier te herstellen. Daarnaast worden twee zelfcorrectiecursussen voorgesteld om de kloof tussen de twee encoders te overbruggen door een "correctie notitieboek" te creëren voor secundaire supervisie. Bovendien wordt een cursussoepproef uitgevoerd om het "touwtrek"-dynamiekprobleem van MCL op te lossen, wat resulteert in een sterker pre-getraind model. Experimentele resultaten tonen aan dat onze methode de gemiddelde prestaties van ELECTRA significant verbetert met respectievelijk 2,8% en 3,2% absolute punten op de GLUE en SQuAD 2.0 benchmarks, en recente geavanceerde ELECTRA-stijl modellen overtreft onder dezelfde instellingen. Het pre-getrainde MCL-model is beschikbaar op https://huggingface.co/McmanusChen/MCL-base.

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.

Vooraf trainen van Taalmodellen als een Multi-perspectief Cursusleerling

Pre-training Language Model as a Multi-perspective Course Learner

Samenvatting

Support