MixCE: Training autoregressiver Sprachmodelle durch Mischen von vorwärts und rückwärts gerichteten Kreuzentropien
MixCE: Training Autoregressive Language Models by Mixing Forward and Reverse Cross-Entropies
May 26, 2023
Autoren: Shiyue Zhang, Shijie Wu, Ozan Irsoy, Steven Lu, Mohit Bansal, Mark Dredze, David Rosenberg
cs.AI
Zusammenfassung
Autoregressive Sprachmodelle werden trainiert, indem die Kreuzentropie der Modellverteilung Q relativ zur Datenverteilung P minimiert wird – das heißt, die Vorwärts-Kreuzentropie wird minimiert, was der Maximum-Likelihood-Schätzung (MLE) entspricht. Wir haben beobachtet, dass auf diese Weise trainierte Modelle „übergeneralisieren“ können, in dem Sinne, dass sie nicht menschenähnlichen Text erzeugen. Darüber hinaus glauben wir, dass die umgekehrte Kreuzentropie, also die Kreuzentropie von P relativ zu Q, besser widerspiegelt, wie ein Mensch den von einem Modell generierten Text bewerten würde. Daher schlagen wir das Lernen mit MixCE vor, einem Ziel, das die Vorwärts- und die umgekehrte Kreuzentropie mischt. Wir bewerten Modelle, die mit diesem Ziel auf synthetischen Datenszenarien (bei denen P bekannt ist) und realen Daten trainiert wurden, und zeigen, dass die resultierenden Modelle besseren generierten Text liefern, ohne komplexe Dekodierungsstrategien zu benötigen. Unser Code und unsere Modelle sind öffentlich verfügbar unter https://github.com/bloomberg/mixce-acl2023.
English
Autoregressive language models are trained by minimizing the cross-entropy of
the model distribution Q relative to the data distribution P -- that is,
minimizing the forward cross-entropy, which is equivalent to maximum likelihood
estimation (MLE). We have observed that models trained in this way may
"over-generalize", in the sense that they produce non-human-like text.
Moreover, we believe that reverse cross-entropy, i.e., the cross-entropy of P
relative to Q, is a better reflection of how a human would evaluate text
generated by a model. Hence, we propose learning with MixCE, an objective that
mixes the forward and reverse cross-entropies. We evaluate models trained with
this objective on synthetic data settings (where P is known) and real data, and
show that the resulting models yield better generated text without complex
decoding strategies. Our code and models are publicly available at
https://github.com/bloomberg/mixce-acl2023