MixCE : Entraînement de modèles de langage autorégressifs en mélangeant les entropies croisées avant et arrière

MixCE: Training Autoregressive Language Models by Mixing Forward and Reverse Cross-Entropies

May 26, 2023

Auteurs: Shiyue Zhang, Shijie Wu, Ozan Irsoy, Steven Lu, Mohit Bansal, Mark Dredze, David Rosenberg

cs.AI

Résumé

Les modèles de langage autorégressifs sont entraînés en minimisant l'entropie croisée de la distribution du modèle Q par rapport à la distribution des données P — c'est-à-dire en minimisant l'entropie croisée directe, ce qui équivaut à l'estimation du maximum de vraisemblance (MLE). Nous avons observé que les modèles entraînés de cette manière peuvent "sur-généraliser", dans le sens où ils produisent du texte non conforme à celui généré par les humains. De plus, nous pensons que l'entropie croisée inverse, c'est-à-dire l'entropie croisée de P par rapport à Q, reflète mieux la manière dont un humain évaluerait le texte généré par un modèle. Par conséquent, nous proposons un apprentissage avec MixCE, un objectif qui combine les entropies croisées directe et inverse. Nous évaluons les modèles entraînés avec cet objectif sur des configurations de données synthétiques (où P est connue) et des données réelles, et montrons que les modèles résultants produisent un texte de meilleure qualité sans nécessiter de stratégies de décodage complexes. Notre code et nos modèles sont disponibles publiquement à l'adresse https://github.com/bloomberg/mixce-acl2023.

English

Autoregressive language models are trained by minimizing the cross-entropy of the model distribution Q relative to the data distribution P -- that is, minimizing the forward cross-entropy, which is equivalent to maximum likelihood estimation (MLE). We have observed that models trained in this way may "over-generalize", in the sense that they produce non-human-like text. Moreover, we believe that reverse cross-entropy, i.e., the cross-entropy of P relative to Q, is a better reflection of how a human would evaluate text generated by a model. Hence, we propose learning with MixCE, an objective that mixes the forward and reverse cross-entropies. We evaluate models trained with this objective on synthetic data settings (where P is known) and real data, and show that the resulting models yield better generated text without complex decoding strategies. Our code and models are publicly available at https://github.com/bloomberg/mixce-acl2023