PLANNER: Het Genereren van Gediversifieerde Paragrafen via een Latent Taaldiffusiemodel

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

June 5, 2023

Auteurs: Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Samenvatting

Autoregressieve modellen voor tekst genereren soms repetitieve en kwalitatief zwakke uitvoer omdat fouten zich opstapelen tijdens de generatiestappen. Dit probleem wordt vaak toegeschreven aan exposure bias - het verschil tussen hoe een model wordt getraind en hoe het wordt gebruikt tijdens inferentie. Denoising diffusiemodellen bieden een alternatieve aanpak waarbij een model zijn uitvoer kan herzien en aanpassen. Ze kunnen echter rekenintensief zijn, en eerdere pogingen voor tekst hebben geleid tot modellen die minder vloeiende uitvoer produceren in vergelijking met autoregressieve modellen, vooral voor langere tekst en alinea's. In dit artikel stellen we PLANNER voor, een model dat latente semantische diffusie combineert met autoregressieve generatie, om vloeiende tekst te genereren terwijl het globale controle uitoefent over alinea's. Het model bereikt dit door een autoregressieve "decodering"-module te combineren met een "plannings"-module die latente diffusie gebruikt om semantische alinea-embeddingen op een grof-naar-fijne manier te genereren. De voorgestelde methode wordt geëvalueerd op verschillende conditionele generatietaken, en resultaten op het gebied van semantische generatie, tekstcompletering en samenvatting tonen de effectiviteit aan in het efficiënt genereren van hoogwaardige lange tekst.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.