PLANNER: Geração de Parágrafos Diversificados via Modelo de Difusão Latente de Linguagem

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

June 5, 2023

Autores: Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Resumo

Modelos autoregressivos para texto às vezes geram saídas repetitivas e de baixa qualidade porque os erros se acumulam durante as etapas de geração. Esse problema é frequentemente atribuído ao viés de exposição - a diferença entre como um modelo é treinado e como ele é usado durante a inferência. Modelos de difusão de denoising oferecem uma abordagem alternativa na qual um modelo pode revisitar e revisar sua saída. No entanto, eles podem ser computacionalmente caros, e esforços anteriores com texto resultaram em modelos que produzem saídas menos fluentes em comparação com modelos autoregressivos, especialmente para textos e parágrafos mais longos. Neste artigo, propomos o PLANNER, um modelo que combina difusão semântica latente com geração autoregressiva, para gerar texto fluente enquanto exerce controle global sobre parágrafos. O modelo alcança isso combinando um módulo de "decodificação" autoregressivo com um módulo de "planejamento" que usa difusão latente para gerar embeddings semânticos de parágrafos de maneira grossa para fina. O método proposto é avaliado em várias tarefas de geração condicional, e os resultados em geração semântica, conclusão de texto e sumarização mostram sua eficácia na geração de texto longo de alta qualidade de maneira eficiente.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.