TESS: 텍스트-텍스트 자기 조건부 심플렉스 확산

초록

디퓨전 모델은 연속값 입력을 사용하는 다양한 영역에서 강력한 성능을 보이며 생성 분야의 강력한 패러다임으로 부상했습니다. 완전 비자기회귀(fully non-autoregressive) 텍스트 생성의 가능성에도 불구하고, 자연어의 이산적 특성으로 인해 디퓨전 모델을 자연어에 적용하는 것은 여전히 어려운 과제입니다. 본 연구에서는 Text-to-text Self-conditioned Simplex Diffusion(TESS)를 제안합니다. TESS는 완전 비자기회귀 방식의 텍스트 디퓨전 모델로, 새로운 형태의 자기조건화(self-conditioning)를 사용하며, 일반적으로 학습된 임베딩 공간 대신 로짓 심플렉스 공간(logit simplex space)에 디퓨전 프로세스를 적용합니다. 요약, 텍스트 단순화, 패러프레이즈 생성, 질문 생성 등 자연어 이해 및 생성 작업에 대한 광범위한 실험을 통해, TESS가 최첨단 비자기회귀 모델을 능가하며 사전 학습된 자기회귀 시퀀스-투-시퀀스 모델과도 경쟁력 있는 성능을 보임을 입증했습니다.

English

Diffusion models have emerged as a powerful paradigm for generation, obtaining strong performance in various domains with continuous-valued inputs. Despite the promises of fully non-autoregressive text generation, applying diffusion models to natural language remains challenging due to its discrete nature. In this work, we propose Text-to-text Self-conditioned Simplex Diffusion (TESS), a text diffusion model that is fully non-autoregressive, employs a new form of self-conditioning, and applies the diffusion process on the logit simplex space rather than the typical learned embedding space. Through extensive experiments on natural language understanding and generation tasks including summarization, text simplification, paraphrase generation, and question generation, we demonstrate that TESS outperforms state-of-the-art non-autoregressive models and is competitive with pretrained autoregressive sequence-to-sequence models.

TESS: 텍스트-텍스트 자기 조건부 심플렉스 확산

TESS: Text-to-Text Self-Conditioned Simplex Diffusion

초록

Support