Vorab-Training von Sprachmodellen als mehrperspektivischer Kurslerner

Zusammenfassung

ELECTRA, das Generator-Diskriminator-Pre-Training-Framework, hat beeindruckende Fähigkeiten zur semantischen Konstruktion in verschiedenen Downstream-Aufgaben gezeigt. Trotz der überzeugenden Leistung steht ELECTRA weiterhin vor den Herausforderungen monotonen Trainings und mangelnder Interaktion. Ein Generator, der nur auf Masked Language Modeling (MLM) basiert, führt zu verzerrtem Lernen und Label-Ungleichgewichten für den Diskriminator, was die Lernleistung verringert; das Fehlen einer expliziten Feedback-Schleife vom Diskriminator zum Generator führt zu einer Kluft zwischen diesen beiden Komponenten, was das Kurslernen unterauslastet. In dieser Studie wird eine Multi-Perspektive-Kurslernmethode (MCL) vorgeschlagen, um eine Vielzahl von Graden und Blickwinkeln für ein probeneffizientes Pre-Training zu erreichen und die Beziehung zwischen Generator und Diskriminator vollständig zu nutzen. Konkret werden drei Selbstüberwachungskurse entworfen, um inhärente Schwächen von MLM zu mildern und die Labels auf multi-perspektivische Weise auszugleichen. Darüber hinaus werden zwei Selbstkorrektur-Kurse vorgeschlagen, um die Kluft zwischen den beiden Encodern zu überbrücken, indem ein „Korrektur-Notizbuch“ für die Sekundärüberwachung erstellt wird. Zudem wird ein Kurs-Suppen-Test durchgeführt, um das „Tauziehen“-Dynamikproblem von MCL zu lösen und ein stärkeres vortrainiertes Modell zu entwickeln. Die experimentellen Ergebnisse zeigen, dass unsere Methode die durchschnittliche Leistung von ELECTRA auf den GLUE- und SQuAD 2.0-Benchmarks um jeweils 2,8 % und 3,2 % absolute Punkte signifikant verbessert und aktuelle fortschrittliche ELECTRA-Modelle unter denselben Bedingungen übertrifft. Das vortrainierte MCL-Modell ist unter https://huggingface.co/McmanusChen/MCL-base verfügbar.

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.

Vorab-Training von Sprachmodellen als mehrperspektivischer Kurslerner

Pre-training Language Model as a Multi-perspective Course Learner

Zusammenfassung

Support