PLANNER: 잠재 언어 확산 모델을 통한 다양화된 문단 생성

초록

텍스트를 위한 자기회귀 모델은 생성 단계에서 오류가 누적되면서 반복적이고 저품질의 출력을 생성하는 경우가 있다. 이 문제는 노출 편향, 즉 모델이 훈련되는 방식과 추론 중에 사용되는 방식 간의 차이로 인해 발생하는 것으로 종종 여겨진다. 노이즈 제거 확산 모델은 모델이 출력을 재검토하고 수정할 수 있는 대안적 접근 방식을 제공한다. 그러나 이러한 모델은 계산 비용이 많이 들며, 특히 긴 텍스트와 단락에 대해 자기회귀 모델에 비해 덜 유창한 출력을 생성하는 모델로 이어지는 경우가 있었다. 본 논문에서는 잠재 의미 확산과 자기회귀 생성을 결합한 PLANNER 모델을 제안하여 단락에 대한 전역적 제어를 수행하면서도 유창한 텍스트를 생성한다. 이 모델은 자기회귀적 "디코딩" 모듈과 잠재 확산을 사용하여 거친 방식에서 세밀한 방식으로 의미론적 단락 임베딩을 생성하는 "계획" 모듈을 결합함으로써 이를 달성한다. 제안된 방법은 다양한 조건부 생성 작업에서 평가되며, 의미 생성, 텍스트 완성 및 요약 작업에서의 결과는 고품질의 장문 텍스트를 효율적으로 생성하는 데 있어 그 효과를 보여준다.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.

PLANNER: 잠재 언어 확산 모델을 통한 다양화된 문단 생성

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

초록

Support