다중 관점 과정 학습자로서의 사전 학습 언어 모델

초록

ELECTRA는 생성기-판별기 사전 학습 프레임워크로, 다양한 하위 작업에서 인상적인 의미 구성 능력을 달성했습니다. 그러나 설득력 있는 성과에도 불구하고, ELECTRA는 단조로운 학습과 부족한 상호작용이라는 과제에 직면해 있습니다. 마스크 언어 모델링(MLM)만을 사용하는 생성기는 편향된 학습과 판별기의 레이블 불균형을 초래하여 학습 효율성을 저하시키며, 판별기에서 생성기로의 명시적인 피드백 루프가 없어 두 구성 요소 간의 간극을 만들어 학습 과정을 충분히 활용하지 못합니다. 본 연구에서는 샘플 효율적인 사전 학습을 위해 다양한 관점과 시각을 제공하고, 생성기와 판별기 간의 관계를 최대한 활용하기 위해 다중 관점 과정 학습(MCL) 방법을 제안합니다. 구체적으로, MLM의 고유한 결함을 완화하고 레이블을 다중 관점 방식으로 균형 있게 조정하기 위해 세 가지 자기 감독 과정을 설계했습니다. 또한, 두 인코더 간의 간극을 메우기 위해 "수정 노트"를 생성하여 이차 감독을 제공하는 두 가지 자기 수정 과정을 제안했습니다. 더 나아가, MCL의 "줄다리기" 역학 문제를 해결하기 위해 과정 수프 시도를 진행하여 더 강력한 사전 학습 모델을 진화시켰습니다. 실험 결과, 우리의 방법은 GLUE와 SQuAD 2.0 벤치마크에서 ELECTRA의 평균 성능을 각각 2.8%와 3.2% 절대 점수로 크게 향상시켰으며, 동일한 설정에서 최근의 고급 ELECTRA 스타일 모델들을 능가했습니다. 사전 학습된 MCL 모델은 https://huggingface.co/McmanusChen/MCL-base에서 이용 가능합니다.

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.

다중 관점 과정 학습자로서의 사전 학습 언어 모델

Pre-training Language Model as a Multi-perspective Course Learner

초록

Support