PLANNER : Génération de paragraphes diversifiés via un modèle de diffusion latente du langage

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

June 5, 2023

Auteurs: Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Résumé

Les modèles autorégressifs pour le texte génèrent parfois des sorties répétitives et de faible qualité en raison de l'accumulation d'erreurs au cours des étapes de génération. Ce problème est souvent attribué au biais d'exposition - la différence entre la manière dont un modèle est entraîné et la manière dont il est utilisé lors de l'inférence. Les modèles de diffusion par débruitage offrent une approche alternative dans laquelle un modèle peut revisiter et réviser sa sortie. Cependant, ils peuvent être coûteux en termes de calcul, et les efforts précédents sur le texte ont conduit à des modèles produisant des sorties moins fluides que les modèles autorégressifs, en particulier pour des textes et paragraphes plus longs. Dans cet article, nous proposons PLANNER, un modèle qui combine la diffusion sémantique latente avec la génération autorégressive, pour générer un texte fluide tout en exerçant un contrôle global sur les paragraphes. Le modèle y parvient en combinant un module de "décodage" autorégressif avec un module de "planification" qui utilise la diffusion latente pour générer des embeddings sémantiques de paragraphes de manière grossière à fine. La méthode proposée est évaluée sur diverses tâches de génération conditionnelle, et les résultats sur la génération sémantique, la complétion de texte et la synthèse montrent son efficacité à générer des textes longs de haute qualité de manière efficiente.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.