SpacTor-T5: スパン破損と置換トークン検出を用いたT5モデルの事前学習

要旨

大規模言語モデルの事前学習は、非常にリソース集約的であり、しばしば非効率的で、訓練テキストシーケンスに含まれる情報を十分に活用できていないことが知られています。本論文では、SpacTorという新しい訓練手順を提案します。これは、(1) スパン破損（SC）とトークン置換検出（RTD）を組み合わせたハイブリッド目的関数、および (2) 最初のtau回のイテレーションでハイブリッド目的関数を最適化し、その後標準的なSC損失に移行する2段階のカリキュラムから構成されます。私たちは、ハイブリッド目的関数の有効性が2段階の事前学習スケジュールと密接に関連していることを実証し、その理由について詳細な分析を提供します。エンコーダ-デコーダアーキテクチャ（T5）を用いたさまざまなNLPタスクでの実験において、SpacTor-T5は、標準的なSC事前学習と同等の下流性能を達成しつつ、事前学習イテレーションを50％削減し、総FLOPsを40％削減することが可能でした。あるいは、同じ計算予算を与えた場合、SpacTorは下流ベンチマーク性能を大幅に向上させることがわかりました。

English

Pre-training large language models is known to be extremely resource intensive and often times inefficient, under-utilizing the information encapsulated in the training text sequences. In this paper, we present SpacTor, a new training procedure consisting of (1) a hybrid objective combining span corruption (SC) and token replacement detection (RTD), and (2) a two-stage curriculum that optimizes the hybrid objective over the initial tau iterations, then transitions to standard SC loss. We show empirically that the effectiveness of the hybrid objective is tied to the two-stage pre-training schedule, and provide extensive analysis on why this is the case. In our experiments with encoder-decoder architectures (T5) on a variety of NLP tasks, SpacTor-T5 yields the same downstream performance as standard SC pre-training, while enabling a 50% reduction in pre-training iterations and 40% reduction in total FLOPs. Alternatively, given the same amount of computing budget, we find that SpacTor results in significantly improved downstream benchmark performance.

SpacTor-T5: スパン破損と置換トークン検出を用いたT5モデルの事前学習

SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection

要旨

Support