TESS: Difusión Simplex Autocondicionada de Texto a Texto
TESS: Text-to-Text Self-Conditioned Simplex Diffusion
May 15, 2023
Autores: Rabeeh Karimi Mahabadi, Jaesung Tae, Hamish Ivison, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan
cs.AI
Resumen
Los modelos de difusión han surgido como un paradigma poderoso para la generación, obteniendo un rendimiento sólido en diversos dominios con entradas de valor continuo. A pesar de las promesas de la generación de texto completamente no autoregresiva, aplicar modelos de difusión al lenguaje natural sigue siendo un desafío debido a su naturaleza discreta. En este trabajo, proponemos Text-to-text Self-conditioned Simplex Diffusion (TESS), un modelo de difusión de texto que es completamente no autoregresivo, emplea una nueva forma de autocondicionamiento y aplica el proceso de difusión en el espacio simplex de logits en lugar del típico espacio de embeddings aprendido. A través de extensos experimentos en tareas de comprensión y generación de lenguaje natural, incluyendo resumen, simplificación de texto, generación de paráfrasis y generación de preguntas, demostramos que TESS supera a los modelos no autoregresivos de última generación y es competitivo con los modelos secuencia a secuencia autoregresivos preentrenados.
English
Diffusion models have emerged as a powerful paradigm for generation,
obtaining strong performance in various domains with continuous-valued inputs.
Despite the promises of fully non-autoregressive text generation, applying
diffusion models to natural language remains challenging due to its discrete
nature. In this work, we propose Text-to-text Self-conditioned Simplex
Diffusion (TESS), a text diffusion model that is fully non-autoregressive,
employs a new form of self-conditioning, and applies the diffusion process on
the logit simplex space rather than the typical learned embedding space.
Through extensive experiments on natural language understanding and generation
tasks including summarization, text simplification, paraphrase generation, and
question generation, we demonstrate that TESS outperforms state-of-the-art
non-autoregressive models and is competitive with pretrained autoregressive
sequence-to-sequence models.