PLANNER: Generación de Párrafos Diversificados mediante Modelo de Difusión de Lenguaje Latente

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

June 5, 2023

Autores: Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Resumen

Los modelos autorregresivos para texto a veces generan resultados repetitivos y de baja calidad debido a que los errores se acumulan durante los pasos de generación. Este problema se atribuye frecuentemente al sesgo de exposición: la diferencia entre cómo se entrena un modelo y cómo se utiliza durante la inferencia. Los modelos de difusión de denoising ofrecen un enfoque alternativo en el que un modelo puede revisar y corregir su salida. Sin embargo, pueden ser computacionalmente costosos, y esfuerzos previos en texto han dado lugar a modelos que producen resultados menos fluidos en comparación con los modelos autorregresivos, especialmente para textos y párrafos más largos. En este artículo, proponemos PLANNER, un modelo que combina la difusión semántica latente con la generación autorregresiva para generar texto fluido mientras ejerce un control global sobre los párrafos. El modelo logra esto al combinar un módulo de "decodificación" autorregresivo con un módulo de "planificación" que utiliza difusión latente para generar embeddings semánticos de párrafos de manera gruesa a fina. El método propuesto se evalúa en diversas tareas de generación condicional, y los resultados en generación semántica, completación de texto y resumen muestran su eficacia para generar texto de alta calidad y extenso de manera eficiente.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.