AR-Diffusion: Auto-Regressief Diffusiemodel voor Tekstgeneratie

AR-Diffusion: Auto-Regressive Diffusion Model for Text Generation

May 16, 2023

Auteurs: Tong Wu, Zhihao Fan, Xiao Liu, Yeyun Gong, Yelong Shen, Jian Jiao, Hai-Tao Zheng, Juntao Li, Zhongyu Wei, Jian Guo, Nan Duan, Weizhu Chen

cs.AI

Samenvatting

Diffusiemodellen hebben aanzienlijke aandacht gekregen op het gebied van beeldgeneratie vanwege hun uitzonderlijke prestaties. Hun succes is recentelijk uitgebreid naar tekstgeneratie door alle tokens binnen een sequentie gelijktijdig te genereren. Echter, natuurlijke taal vertoont een veel sterker uitgesproken sequentiële afhankelijkheid in vergelijking met beelden, en de meeste bestaande taalmodellen worden getraind met behulp van een links-naar-rechts autoregressieve aanpak. Om rekening te houden met het inherente sequentiële karakter van natuurlijke taal, introduceren we Auto-Regressieve Diffusie (AR-Diffusie). AR-Diffusie zorgt ervoor dat de generatie van tokens aan de rechterkant afhankelijk is van de gegenereerde tokens aan de linkerkant, een mechanisme dat wordt bereikt door een dynamisch aantal denoisestappen te gebruiken die variëren op basis van de tokenpositie. Hierdoor ondergaan tokens aan de linkerkant minder denoisestappen dan die aan de rechterkant, waardoor ze eerder kunnen worden gegenereerd en vervolgens de generatie van tokens aan de rechterkant kunnen beïnvloeden. In een reeks experimenten op verschillende tekstgeneratietaken, waaronder tekstsamenvatting, machinaal vertalen en common sense-generatie, heeft AR-Diffusie duidelijk de superioriteit aangetoond ten opzichte van bestaande diffusie-taalmodellen en kan het 100 tot 600 keer sneller zijn bij het bereiken van vergelijkbare resultaten. Onze code zal openbaar worden vrijgegeven.

English

Diffusion models have gained significant attention in the realm of image generation due to their exceptional performance. Their success has been recently expanded to text generation via generating all tokens within a sequence concurrently. However, natural language exhibits a far more pronounced sequential dependency in comparison to images, and the majority of existing language models are trained utilizing a left-to-right auto-regressive approach. To account for the inherent sequential characteristic of natural language, we introduce Auto-Regressive Diffusion (AR-Diffusion). AR-Diffusion ensures that the generation of tokens on the right depends on the generated ones on the left, a mechanism achieved through employing a dynamic number of denoising steps that vary based on token position. This results in tokens on the left undergoing fewer denoising steps than those on the right, thereby enabling them to generate earlier and subsequently influence the generation of tokens on the right. In a series of experiments on various text generation tasks including text summarization, machine translation, and common sense generation, AR-Diffusion clearly demonstrated the superiority over existing diffusion language models and that it can be 100timessim600times faster when achieving comparable results. Our code will be publicly released.