PLANNER: Генерация разнообразных абзацев с использованием латентной языковой диффузионной модели

PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model

June 5, 2023

Авторы: Yizhe Zhang, Jiatao Gu, Zhuofeng Wu, Shuangfei Zhai, Josh Susskind, Navdeep Jaitly

cs.AI

Аннотация

Авторегрессионные модели для текста иногда генерируют повторяющийся и низкокачественный вывод из-за накопления ошибок на этапах генерации. Эта проблема часто связывается с эффектом смещения экспозиции — различием между тем, как модель обучается, и тем, как она используется во время вывода. Денойзинговые диффузионные модели предлагают альтернативный подход, в котором модель может пересматривать и корректировать свой вывод. Однако они могут быть вычислительно затратными, а предыдущие попытки применения их к тексту привели к моделям, которые генерируют менее беглый вывод по сравнению с авторегрессионными моделями, особенно для длинных текстов и абзацев. В данной статье мы предлагаем PLANNER — модель, которая сочетает латентную семантическую диффузию с авторегрессионной генерацией для создания беглого текста при осуществлении глобального контроля над абзацами. Модель достигает этого за счет объединения авторегрессионного модуля «декодирования» с модулем «планирования», который использует латентную диффузию для генерации семантических эмбеддингов абзацев в порядке от грубого к детальному. Предложенный метод оценивается на различных задачах условной генерации, и результаты в области семантической генерации, завершения текста и суммаризации демонстрируют его эффективность в создании высококачественного длинного текста с высокой производительностью.

English

Autoregressive models for text sometimes generate repetitive and low-quality output because errors accumulate during the steps of generation. This issue is often attributed to exposure bias - the difference between how a model is trained, and how it is used during inference. Denoising diffusion models provide an alternative approach in which a model can revisit and revise its output. However, they can be computationally expensive and prior efforts on text have led to models that produce less fluent output compared to autoregressive models, especially for longer text and paragraphs. In this paper, we propose PLANNER, a model that combines latent semantic diffusion with autoregressive generation, to generate fluent text while exercising global control over paragraphs. The model achieves this by combining an autoregressive "decoding" module with a "planning" module that uses latent diffusion to generate semantic paragraph embeddings in a coarse-to-fine manner. The proposed method is evaluated on various conditional generation tasks, and results on semantic generation, text completion and summarization show its effectiveness in generating high-quality long-form text in an efficient manner.