TESS : Diffusion Simplex Auto-conditionnée Texte-à-Texte

TESS: Text-to-Text Self-Conditioned Simplex Diffusion

May 15, 2023

Auteurs: Rabeeh Karimi Mahabadi, Jaesung Tae, Hamish Ivison, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan

cs.AI

Résumé

Les modèles de diffusion sont apparus comme un paradigme puissant pour la génération, obtenant des performances solides dans divers domaines avec des entrées à valeurs continues. Malgré les promesses d'une génération de texte entièrement non autorégressive, l'application des modèles de diffusion au langage naturel reste difficile en raison de sa nature discrète. Dans ce travail, nous proposons Text-to-text Self-conditioned Simplex Diffusion (TESS), un modèle de diffusion de texte qui est entièrement non autorégressif, utilise une nouvelle forme d'auto-conditionnement et applique le processus de diffusion sur l'espace simplex des logits plutôt que sur l'espace d'embedding appris typique. À travers des expériences approfondies sur des tâches de compréhension et de génération du langage naturel, incluant la synthétisation, la simplification de texte, la génération de paraphrases et la génération de questions, nous démontrons que TESS surpasse les modèles non autorégressifs de pointe et est compétitif avec les modèles séquence-à-séquence autorégressifs pré-entraînés.

English

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various domains with continuous-valued inputs. Despite the promises of fully non-autoregressive text generation, applying diffusion models to natural language remains challenging due to its discrete nature. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the typical learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models and is competitive with pretrained autoregressive sequence-to-sequence models.