GPT o BERT: ¿por qué no ambos?

GPT or BERT: why not both?

October 31, 2024

Autores: Lucas Georges Gabriel Charpentier, David Samuel

cs.AI

Resumen

Presentamos una forma sencilla de combinar el modelado de lenguaje enmascarado con el modelado de lenguaje causal. Este objetivo de entrenamiento híbrido resulta en un modelo que combina las fortalezas de ambos paradigmas de modelado dentro de una única pila de transformadores: GPT-BERT puede ser utilizado de manera transparente como cualquier modelo de lenguaje causal o enmascarado estándar. Probamos el proceso de preentrenamiento que permite este comportamiento flexible en el Desafío BabyLM 2024. Los resultados muestran que el preentrenamiento híbrido supera a los modelos solo enmascarados o solo causales. Publicamos abiertamente los modelos, corpus de entrenamiento y código.

English

We present a simple way to merge masked language modeling with causal language modeling. This hybrid training objective results in a model that combines the strengths of both modeling paradigms within a single transformer stack: GPT-BERT can be transparently used like any standard causal or masked language model. We test the pretraining process that enables this flexible behavior on the BabyLM Challenge 2024. The results show that the hybrid pretraining outperforms masked-only or causal-only models. We openly release the models, training corpora and code.