Pre-addestramento del Modello Linguistico come Apprendente di Corsi Multi-prospettici

Abstract

ELECTRA, il framework di pre-addestramento generatore-discriminatore, ha dimostrato una notevole capacità di costruzione semantica in vari task downstream. Nonostante le prestazioni convincenti, ELECTRA deve ancora affrontare le sfide dell'addestramento monotono e dell'interazione carente. Un generatore basato esclusivamente sul masked language modeling (MLM) porta a un apprendimento distorto e a uno squilibrio delle etichette per il discriminatore, riducendo l'efficienza dell'apprendimento; l'assenza di un ciclo di feedback esplicito dal discriminatore al generatore crea un divario tra questi due componenti, sottoutilizzando l'apprendimento progressivo. In questo studio, viene proposto un metodo di apprendimento progressivo multi-prospettico (MCL) per ottenere molteplici gradi e angolazioni per un pre-addestramento efficiente dal punto di vista dei campioni, e per sfruttare appieno la relazione tra generatore e discriminatore. Nello specifico, vengono progettati tre corsi di auto-supervisione per alleviare i difetti intrinseci del MLM e bilanciare le etichette in modo multi-prospettico. Inoltre, vengono proposti due corsi di auto-correzione per colmare il divario tra i due encoder creando un "quaderno di correzione" per una supervisione secondaria. Inoltre, viene condotto un esperimento di "course soups" per risolvere il problema dinamico del "tiro alla fune" dell'MCL, evolvendo un modello pre-addestrato più robusto. I risultati sperimentali mostrano che il nostro metodo migliora significativamente le prestazioni medie di ELECTRA rispettivamente di 2,8% e 3,2 punti percentuali assoluti sui benchmark GLUE e SQuAD 2.0, e supera i recenti modelli avanzati in stile ELECTRA nelle stesse condizioni. Il modello MCL pre-addestrato è disponibile all'indirizzo https://huggingface.co/McmanusChen/MCL-base.

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.

Pre-addestramento del Modello Linguistico come Apprendente di Corsi Multi-prospettici

Pre-training Language Model as a Multi-perspective Course Learner

Abstract

Support