GPT またはBERT：両方使わないのか？

GPT or BERT: why not both?

October 31, 2024

著者: Lucas Georges Gabriel Charpentier, David Samuel

cs.AI

要旨

マスクされた言語モデリングと因果言語モデリングを組み合わせる簡単な方法を提案します。このハイブリッドトレーニング目的は、単一のトランスフォーマースタック内で両方のモデリングパラダイムの強みを組み合わせたモデルを生み出します。GPT-BERTは、通常の因果またはマスクされた言語モデルと同様に透過的に使用できます。この柔軟な振る舞いを可能にする事前トレーニングプロセスをBabyLM Challenge 2024でテストします。結果は、ハイブリッド事前トレーニングが、単にマスクされたモデルまたは因果モデルよりも優れていることを示しています。モデル、トレーニングコーパス、およびコードを公開します。

English

We present a simple way to merge masked language modeling with causal language modeling. This hybrid training objective results in a model that combines the strengths of both modeling paradigms within a single transformer stack: GPT-BERT can be transparently used like any standard causal or masked language model. We test the pretraining process that enables this flexible behavior on the BabyLM Challenge 2024. The results show that the hybrid pretraining outperforms masked-only or causal-only models. We openly release the models, training corpora and code.