PLANNER: Generazione di Paragrafi Diversificati tramite Modello di Diffusione Linguistica Latente

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

June 5, 2023

Autori: Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Abstract

I modelli autoregressivi per il testo a volte generano output ripetitivi e di bassa qualità a causa dell'accumulo di errori durante i passaggi di generazione. Questo problema è spesso attribuito al bias di esposizione - la differenza tra come un modello viene addestrato e come viene utilizzato durante l'inferenza. I modelli di diffusione con denoising offrono un approccio alternativo in cui un modello può rivedere e correggere il proprio output. Tuttavia, possono essere computazionalmente costosi e i precedenti tentativi sul testo hanno portato a modelli che producono output meno fluido rispetto ai modelli autoregressivi, specialmente per testi e paragrafi più lunghi. In questo articolo, proponiamo PLANNER, un modello che combina la diffusione semantica latente con la generazione autoregressiva, per generare testo fluido esercitando un controllo globale sui paragrafi. Il modello raggiunge questo obiettivo combinando un modulo di "decodifica" autoregressivo con un modulo di "pianificazione" che utilizza la diffusione latente per generare incorporamenti semantici di paragrafi in modo da grossolano a fine. Il metodo proposto viene valutato su vari task di generazione condizionata, e i risultati sulla generazione semantica, completamento del testo e riassunto dimostrano la sua efficacia nel generare testi lunghi di alta qualità in modo efficiente.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.