TESS: Diffusione Simplex Auto-Condizionata da Testo a Testo

TESS: Text-to-Text Self-Conditioned Simplex Diffusion

May 15, 2023

Autori: Rabeeh Karimi Mahabadi, Jaesung Tae, Hamish Ivison, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan

cs.AI

Abstract

I modelli di diffusione sono emersi come un paradigma potente per la generazione, ottenendo prestazioni solide in vari domini con input a valori continui. Nonostante le promesse della generazione di testo completamente non autoregressiva, applicare i modelli di diffusione al linguaggio naturale rimane impegnativo a causa della sua natura discreta. In questo lavoro, proponiamo Text-to-text Self-conditioned Simplex Diffusion (TESS), un modello di diffusione per il testo che è completamente non autoregressivo, utilizza una nuova forma di auto-condizionamento e applica il processo di diffusione nello spazio del simplesso dei logit piuttosto che nel tipico spazio di embedding appreso. Attraverso esperimenti estesi su compiti di comprensione e generazione del linguaggio naturale, tra cui riassunto, semplificazione del testo, generazione di parafrasi e generazione di domande, dimostriamo che TESS supera i modelli non autoregressivi all'avanguardia ed è competitivo con i modelli sequenza-a-sequenza autoregressivi preaddestrati.

English

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various domains with continuous-valued inputs. Despite the promises of fully non-autoregressive text generation, applying diffusion models to natural language remains challenging due to its discrete nature. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the typical learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models and is competitive with pretrained autoregressive sequence-to-sequence models.