GPT или BERT: почему бы и нет обоих?

GPT or BERT: why not both?

October 31, 2024

Авторы: Lucas Georges Gabriel Charpentier, David Samuel

cs.AI

Аннотация

Мы представляем простой способ объединения моделирования маскированных последовательностей с моделированием причинно-следственных связей. Эта гибридная цель обучения приводит к модели, которая объединяет преимущества обоих парадигм моделирования в рамках одного стека трансформера: GPT-BERT может быть использован прозрачно, как любая стандартная причинно-следственная или маскированная языковая модель. Мы тестируем процесс предварительного обучения, который обеспечивает эту гибкую функциональность, на BabyLM Challenge 2024. Результаты показывают, что гибридное предварительное обучение превосходит модели только с маскировкой или только причинно-следственные модели. Мы открыто предоставляем модели, обучающие корпуса и код.

English

We present a simple way to merge masked language modeling with causal language modeling. This hybrid training objective results in a model that combines the strengths of both modeling paradigms within a single transformer stack: GPT-BERT can be transparently used like any standard causal or masked language model. We test the pretraining process that enables this flexible behavior on the BabyLM Challenge 2024. The results show that the hybrid pretraining outperforms masked-only or causal-only models. We openly release the models, training corpora and code.