PLANNER: Generierung diversifizierter Absätze durch latente Sprachdiffusionsmodelle

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

June 5, 2023

Autoren: Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Zusammenfassung

Autoregressive Modelle für Texte erzeugen manchmal repetitive und qualitativ minderwertige Ausgaben, da sich Fehler während der Generationsschritte ansammeln. Dieses Problem wird oft auf den Exposure Bias zurückgeführt – die Diskrepanz zwischen der Art und Weise, wie ein Modell trainiert wird und wie es während der Inferenz verwendet wird. Denoising-Diffusionsmodelle bieten einen alternativen Ansatz, bei dem ein Modell seine Ausgabe überarbeiten und revidieren kann. Allerdings können sie rechenintensiv sein, und bisherige Bemühungen im Bereich Text haben zu Modellen geführt, die weniger flüssige Ausgaben im Vergleich zu autoregressiven Modellen erzeugen, insbesondere bei längeren Texten und Absätzen. In diesem Artikel schlagen wir PLANNER vor, ein Modell, das latente semantische Diffusion mit autoregressiver Generierung kombiniert, um flüssigen Text zu erzeugen und gleichzeitig eine globale Kontrolle über Absätze auszuüben. Das Modell erreicht dies durch die Kombination eines autoregressiven „Decoding“-Moduls mit einem „Planning“-Modul, das latente Diffusion verwendet, um semantische Absatz-Embeddings in einem grob-zu-fein-Ansatz zu generieren. Die vorgeschlagene Methode wird auf verschiedenen bedingten Generierungsaufgaben evaluiert, und die Ergebnisse in den Bereichen semantische Generierung, Textvervollständigung und Zusammenfassung zeigen ihre Effektivität bei der Erzeugung hochwertiger Langformtexte auf effiziente Weise.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.