多視点コース学習者としての言語モデルの事前学習

Pre-training Language Model as a Multi-perspective Course Learner

May 6, 2023

著者: Beiduo Chen, Shaohan Huang, Zihan Zhang, Wu Guo, Zhenhua Ling, Haizhen Huang, Furu Wei, Weiwei Deng, Qi Zhang

cs.AI

要旨

ELECTRAのジェネレータ-ディスクリミネータ事前学習フレームワークは、様々な下流タスクにおいて印象的な意味構築能力を達成しています。説得力のある性能にもかかわらず、ELECTRAは依然として単調な学習と不十分な相互作用という課題に直面しています。マスク言語モデリング（MLM）のみを備えたジェネレータは、ディスクリミネータの偏った学習とラベルの不均衡を引き起こし、学習効率を低下させます。また、ディスクリミネータからジェネレータへの明示的なフィードバックループがないため、これら2つのコンポーネント間の溝が生じ、コース学習を十分に活用できていません。本研究では、多視点コース学習（MCL）法を提案し、サンプル効率の良い事前学習のために多様な視点と角度を提供し、ジェネレータとディスクリミネータの関係を最大限に活用します。具体的には、MLMの内在的な欠点を緩和し、ラベルを多視点でバランスさせるために、3つの自己監督コースを設計しました。さらに、2つの自己修正コースを提案し、「修正ノートブック」を作成して二次監督を行うことで、2つのエンコーダ間の溝を埋めます。さらに、MCLの「綱引き」ダイナミクス問題を解決するために、コーススープの試行を行い、より強力な事前学習モデルを進化させました。実験結果は、我々の方法がELECTRAの平均性能をGLUEとSQuAD 2.0ベンチマークでそれぞれ2.8%と3.2%の絶対ポイントで大幅に向上させ、同じ設定下で最近の先進的なELECTRAスタイルのモデルを凌駕することを示しています。事前学習されたMCLモデルはhttps://huggingface.co/McmanusChen/MCL-baseで利用可能です。

English

ELECTRA, the generator-discriminator pre-training framework, has achieved impressive semantic construction capability among various downstream tasks. Despite the convincing performance, ELECTRA still faces the challenges of monotonous training and deficient interaction. Generator with only masked language modeling (MLM) leads to biased learning and label imbalance for discriminator, decreasing learning efficiency; no explicit feedback loop from discriminator to generator results in the chasm between these two components, underutilizing the course learning. In this study, a multi-perspective course learning (MCL) method is proposed to fetch a many degrees and visual angles for sample-efficient pre-training, and to fully leverage the relationship between generator and discriminator. Concretely, three self-supervision courses are designed to alleviate inherent flaws of MLM and balance the label in a multi-perspective way. Besides, two self-correction courses are proposed to bridge the chasm between the two encoders by creating a "correction notebook" for secondary-supervision. Moreover, a course soups trial is conducted to solve the "tug-of-war" dynamics problem of MCL, evolving a stronger pre-trained model. Experimental results show that our method significantly improves ELECTRA's average performance by 2.8% and 3.2% absolute points respectively on GLUE and SQuAD 2.0 benchmarks, and overshadows recent advanced ELECTRA-style models under the same settings. The pre-trained MCL model is available at https://huggingface.co/McmanusChen/MCL-base.