Pré-treinamento de Modelo de Linguagem como um Aprendiz de Curso Multiperspectiva

Pre-training Language Model as a Multi-perspective Course Learner

May 6, 2023

Autores: Beiduo Chen, Shaohan Huang, Zihan Zhang, Wu Guo, Zhenhua Ling, Haizhen Huang, Furu Wei, Weiwei Deng, Qi Zhang

cs.AI

Resumo

O framework de pré-treinamento gerador-discriminador ELECTRA demonstrou impressionante capacidade de construção semântica em diversas tarefas subsequentes. Apesar do desempenho convincente, o ELECTRA ainda enfrenta desafios de treinamento monótono e interação deficiente. O gerador, que utiliza apenas modelagem de linguagem mascarada (MLM), resulta em aprendizado tendencioso e desequilíbrio de rótulos para o discriminador, reduzindo a eficiência do aprendizado; a ausência de um loop de feedback explícito do discriminador para o gerador cria uma lacuna entre esses dois componentes, subutilizando o aprendizado progressivo. Neste estudo, propomos um método de aprendizado progressivo multiperspectivo (MCL) para obter múltiplos graus e ângulos visuais para um pré-treinamento eficiente em termos de amostras, e para aproveitar plenamente a relação entre gerador e discriminador. Concretamente, três cursos de auto-supervisão são projetados para mitigar falhas inerentes da MLM e equilibrar os rótulos de forma multiperspectiva. Além disso, dois cursos de autocorreção são propostos para preencher a lacuna entre os dois codificadores, criando um "caderno de correções" para supervisão secundária. Adicionalmente, é conduzido um teste de "sopa de cursos" para resolver o problema dinâmico de "cabo de guerra" do MCL, evoluindo para um modelo pré-treinado mais robusto. Resultados experimentais mostram que nosso método melhora significativamente o desempenho médio do ELECTRA em 2,8% e 3,2% pontos absolutos, respectivamente, nos benchmarks GLUE e SQuAD 2.0, e supera modelos recentes no estilo ELECTRA sob as mesmas configurações. O modelo MCL pré-treinado está disponível em https://huggingface.co/McmanusChen/MCL-base.

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.