TESS: テキスト間自己条件付きシンプレックス拡散

要旨

拡散モデルは、連続値入力を持つ様々な領域で強力な生成パラダイムとして登場し、優れた性能を発揮しています。完全な非自己回帰型テキスト生成の可能性にもかかわらず、自然言語への拡散モデルの適用は、その離散的な性質により依然として困難です。本研究では、Text-to-text Self-conditioned Simplex Diffusion (TESS)を提案します。これは、完全な非自己回帰型のテキスト拡散モデルであり、新たな形式の自己条件付けを採用し、拡散プロセスを従来の学習済み埋め込み空間ではなく、ロジット単体空間に適用します。要約、テキスト簡略化、言い換え生成、質問生成などの自然言語理解および生成タスクにおける広範な実験を通じて、TESSが最先端の非自己回帰モデルを上回り、事前学習された自己回帰型シーケンス・ツー・シーケンスモデルと競合することを実証します。

English

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various domains with continuous-valued inputs. Despite the promises of fully non-autoregressive text generation, applying diffusion models to natural language remains challenging due to its discrete nature. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the typical learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models and is competitive with pretrained autoregressive sequence-to-sequence models.

TESS: テキスト間自己条件付きシンプレックス拡散

TESS: Text-to-Text Self-Conditioned Simplex Diffusion

要旨

Support