UT5 : Prétraitement de T5 non autorégressif avec débruitage déroulé

UT5: Pretraining Non autoregressive T5 with unrolled denoising

November 14, 2023

Auteurs: Mahmoud G. Salem, Jiayu Ye, Chu-Cheng Lin, Frederick Liu

cs.AI

Résumé

Les récents progrès des modèles de langage de grande taille basés sur les Transformers ont permis des avancées significatives dans la génération de langage naturel. Cependant, pour décoder K tokens, un modèle autorégressif nécessite K passes avant séquentielles, ce qui peut constituer un goulot d'étranglement en termes de performance pour les grands modèles de langage. De nombreuses recherches sur les modèles non autorégressifs (NAR) visent à résoudre ce problème de séquentialité, bien que beaucoup se soient concentrées sur des architectures dédiées dans des benchmarks supervisés. Dans ce travail, nous avons étudié le pré-entraînement non supervisé pour les modèles T5 non autorégressifs via un débruitage déroulé et avons démontré ses résultats de pointe dans des tâches de génération en aval telles que la génération de questions SQuAD et XSum.

English

Recent advances in Transformer-based Large Language Models have made great strides in natural language generation. However, to decode K tokens, an autoregressive model needs K sequential forward passes, which may be a performance bottleneck for large language models. Many non-autoregressive (NAR) research are aiming to address this sequentiality bottleneck, albeit many have focused on a dedicated architecture in supervised benchmarks. In this work, we studied unsupervised pretraining for non auto-regressive T5 models via unrolled denoising and shown its SoTA results in downstream generation tasks such as SQuAD question generation and XSum.