TESS: Text-zu-Text selbstkonditionierte Simplex-Diffusion
TESS: Text-to-Text Self-Conditioned Simplex Diffusion
May 15, 2023
Autoren: Rabeeh Karimi Mahabadi, Jaesung Tae, Hamish Ivison, James Henderson, Iz Beltagy, Matthew E. Peters, Arman Cohan
cs.AI
Zusammenfassung
Diffusionsmodelle haben sich als leistungsstarkes Paradigma für die Generierung etabliert und erzielen in verschiedenen Domänen mit kontinuierlich-wertigen Eingaben beeindruckende Ergebnisse. Trotz der vielversprechenden Aussichten einer vollständig nicht-autoregressiven Textgenerierung bleibt die Anwendung von Diffusionsmodellen auf natürliche Sprache aufgrund ihrer diskreten Natur herausfordernd. In dieser Arbeit präsentieren wir Text-to-text Self-conditioned Simplex Diffusion (TESS), ein Textdiffusionsmodell, das vollständig nicht-autoregressiv ist, eine neue Form der Selbstkonditionierung verwendet und den Diffusionsprozess im Logit-Simplex-Raum anstelle des üblichen gelernten Einbettungsraums durchführt. Durch umfangreiche Experimente zu Aufgaben des natürlichen Sprachverständnisses und der Textgenerierung, einschließlich Zusammenfassung, Textvereinfachung, Paraphrasengenerierung und Fragengenerierung, zeigen wir, dass TESS state-of-the-art nicht-autoregressive Modelle übertrifft und mit vortrainierten autoregressiven Sequenz-zu-Sequenz-Modellen konkurrieren kann.
English
Diffusion models have emerged as a powerful paradigm for generation,
obtaining strong performance in various domains with continuous-valued inputs.
Despite the promises of fully non-autoregressive text generation, applying
diffusion models to natural language remains challenging due to its discrete
nature. In this work, we propose Text-to-text Self-conditioned Simplex
Diffusion (TESS), a text diffusion model that is fully non-autoregressive,
employs a new form of self-conditioning, and applies the diffusion process on
the logit simplex space rather than the typical learned embedding space.
Through extensive experiments on natural language understanding and generation
tasks including summarization, text simplification, paraphrase generation, and
question generation, we demonstrate that TESS outperforms state-of-the-art
non-autoregressive models and is competitive with pretrained autoregressive
sequence-to-sequence models.