Preentrenamiento de Modelos de Lenguaje como Aprendiz de Cursos Multiperspectiva

Resumen

ELECTRA, el marco de preentrenamiento generador-discriminador, ha logrado una impresionante capacidad de construcción semántica en diversas tareas posteriores. A pesar de su rendimiento convincente, ELECTRA aún enfrenta los desafíos de un entrenamiento monótono y una interacción deficiente. El generador con solo modelado de lenguaje enmascarado (MLM) conduce a un aprendizaje sesgado y a un desequilibrio de etiquetas para el discriminador, disminuyendo la eficiencia del aprendizaje; la falta de un bucle de retroalimentación explícito del discriminador al generador resulta en una brecha entre estos dos componentes, subutilizando el aprendizaje progresivo. En este estudio, se propone un método de aprendizaje progresivo multiperspectiva (MCL) para obtener múltiples grados y ángulos visuales para un preentrenamiento eficiente en muestras, y para aprovechar plenamente la relación entre el generador y el discriminador. Concretamente, se diseñan tres cursos de autosupervisión para aliviar los defectos inherentes del MLM y equilibrar las etiquetas de manera multiperspectiva. Además, se proponen dos cursos de autocorrección para cerrar la brecha entre los dos codificadores creando un "cuaderno de correcciones" para una supervisión secundaria. Además, se realiza una prueba de "sopa de cursos" para resolver el problema dinámico de "tira y afloja" del MCL, evolucionando un modelo preentrenado más fuerte. Los resultados experimentales muestran que nuestro método mejora significativamente el rendimiento promedio de ELECTRA en 2.8% y 3.2% puntos absolutos respectivamente en los benchmarks GLUE y SQuAD 2.0, y supera a los modelos avanzados recientes de estilo ELECTRA bajo las mismas configuraciones. El modelo preentrenado MCL está disponible en https://huggingface.co/McmanusChen/MCL-base.

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.

Preentrenamiento de Modelos de Lenguaje como Aprendiz de Cursos Multiperspectiva

Pre-training Language Model as a Multi-perspective Course Learner

Resumen

Support