TESS: Difusão Simplex Autocondicionada Texto-para-Texto

TESS: Text-to-Text Self-Conditioned Simplex Diffusion

May 15, 2023

Autores: Rabeeh Karimi Mahabadi, Jaesung Tae, Hamish Ivison, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan

cs.AI

Resumo

Os modelos de difusão emergiram como um paradigma poderoso para geração, obtendo desempenho robusto em diversos domínios com entradas de valor contínuo. Apesar das promessas da geração de texto totalmente não autorregressiva, a aplicação de modelos de difusão à linguagem natural permanece desafiadora devido à sua natureza discreta. Neste trabalho, propomos o Text-to-text Self-conditioned Simplex Diffusion (TESS), um modelo de difusão de texto que é totalmente não autorregressivo, emprega uma nova forma de autocondicionamento e aplica o processo de difusão no espaço simplex de logits em vez do espaço de embeddings aprendido típico. Por meio de experimentos extensivos em tarefas de compreensão e geração de linguagem natural, incluindo sumarização, simplificação de texto, geração de paráfrases e geração de perguntas, demonstramos que o TESS supera os modelos não autorregressivos de última geração e é competitivo com modelos autorregressivos pré-treinados de sequência para sequência.

English

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various domains with continuous-valued inputs. Despite the promises of fully non-autoregressive text generation, applying diffusion models to natural language remains challenging due to its discrete nature. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the typical learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models and is competitive with pretrained autoregressive sequence-to-sequence models.