Apprentissage par transfert pour les modèles de diffusion de texte

Transfer Learning for Text Diffusion Models

January 30, 2024

Auteurs: Kehang Han, Kathleen Kenealy, Aditya Barua, Noah Fiedel, Noah Constant

cs.AI

Résumé

Dans ce rapport, nous explorons le potentiel de la diffusion de texte pour remplacer le décodage autorégressif (AR) dans l'entraînement et le déploiement de grands modèles de langage (LLM). Nous cherchons notamment à déterminer si des modèles AR préentraînés peuvent être transformés en modèles de diffusion de texte grâce à une procédure d'adaptation légère que nous appelons « AR2Diff ». Nous commençons par établir une configuration de référence solide pour l'entraînement de modèles de diffusion de texte. En comparant plusieurs architectures et objectifs de préentraînement, nous constatons qu'un modèle à décodeur uniquement, entraîné avec un objectif de modèle de langage à préfixe, obtient les meilleurs résultats ou s'en approche sur plusieurs tâches. Sur la base de cette observation, nous testons diverses configurations de transfert d'apprentissage pour les modèles de diffusion de texte. En traduction automatique, nous constatons que la diffusion de texte est moins performante que l'approche AR standard. Cependant, en synthèse de code et en question-réponse extractive, les modèles de diffusion entraînés à partir de zéro surpassent souvent les modèles AR. Nous observons également des gains de qualité grâce à AR2Diff, qui adapte les modèles AR pour utiliser le décodage par diffusion. Ces résultats sont prometteurs, étant donné que la diffusion de texte est relativement peu explorée et peut être nettement plus rapide que le décodage AR pour la génération de textes longs.

English

In this report, we explore the potential for text diffusion to replace autoregressive (AR) decoding for the training and deployment of large language models (LLMs). We are particularly interested to see whether pretrained AR models can be transformed into text diffusion models through a lightweight adaptation procedure we call ``AR2Diff''. We begin by establishing a strong baseline setup for training text diffusion models. Comparing across multiple architectures and pretraining objectives, we find that training a decoder-only model with a prefix LM objective is best or near-best across several tasks. Building on this finding, we test various transfer learning setups for text diffusion models. On machine translation, we find that text diffusion underperforms the standard AR approach. However, on code synthesis and extractive QA, we find diffusion models trained from scratch outperform AR models in many cases. We also observe quality gains from AR2Diff -- adapting AR models to use diffusion decoding. These results are promising given that text diffusion is relatively underexplored and can be significantly faster than AR decoding for long text generation.