TESS: Tekst-naar-Tekst Zelf-geconditioneerde Simplex Diffusie

TESS: Text-to-Text Self-Conditioned Simplex Diffusion

May 15, 2023

Auteurs: Rabeeh Karimi Mahabadi, Jaesung Tae, Hamish Ivison, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan

cs.AI

Samenvatting

Diffusiemodellen zijn naar voren gekomen als een krachtig paradigma voor generatie, waarbij ze sterke prestaties behalen in verschillende domeinen met continue waarden als invoer. Ondanks de beloften van volledig niet-autoregressieve tekstgeneratie, blijft het toepassen van diffusiemodellen op natuurlijke taal uitdagend vanwege het discrete karakter ervan. In dit werk stellen we Text-to-text Self-conditioned Simplex Diffusion (TESS) voor, een tekstdiffusiemodel dat volledig niet-autoregressief is, een nieuwe vorm van zelfconditionering gebruikt, en het diffusieproces toepast op de logit-simplexruimte in plaats van de gebruikelijke geleerde embeddingruimte. Door uitgebreide experimenten op taken voor natuurlijke taalbegrip en -generatie, waaronder samenvatting, tekstvereenvoudiging, parafrasegeneratie en vraaggeneratie, tonen we aan dat TESS state-of-the-art niet-autoregressieve modellen overtreft en concurrerend is met voorgetrainde autoregressieve sequence-to-sequence modellen.

English

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various domains with continuous-valued inputs. Despite the promises of fully non-autoregressive text generation, applying diffusion models to natural language remains challenging due to its discrete nature. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the typical learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models and is competitive with pretrained autoregressive sequence-to-sequence models.