UT5: Pretraining van niet-autoregressieve T5 met uitgerolde denoising

UT5: Pretraining Non autoregressive T5 with unrolled denoising

November 14, 2023

Auteurs: Mahmoud G. Salem, Jiayu Ye, Chu-Cheng Lin, Frederick Liu

cs.AI

Samenvatting

Recente vooruitgang in Transformer-gebaseerde grote taalmodellen heeft aanzienlijke vorderingen gemaakt in natuurlijke taalgeneratie. Om echter K tokens te decoderen, heeft een autoregressief model K sequentiële forward passes nodig, wat een prestatieknelpunt kan vormen voor grote taalmodellen. Veel onderzoek naar niet-autoregressieve (NAR) modellen richt zich op het aanpakken van dit sequentiële knelpunt, hoewel velen zich hebben gericht op een specifieke architectuur in begeleide benchmarks. In dit werk hebben we onbegeleide voorpretraining bestudeerd voor niet-autoregressieve T5-modellen via unrolled denoising en hebben we de state-of-the-art resultaten aangetoond in downstream generatietaken zoals SQuAD-vraaggeneratie en XSum.

English

Recent advances in Transformer-based Large Language Models have made great strides in natural language generation. However, to decode K tokens, an autoregressive model needs K sequential forward passes, which may be a performance bottleneck for large language models. Many non-autoregressive (NAR) research are aiming to address this sequentiality bottleneck, albeit many have focused on a dedicated architecture in supervised benchmarks. In this work, we studied unsupervised pretraining for non auto-regressive T5 models via unrolled denoising and shown its SoTA results in downstream generation tasks such as SQuAD question generation and XSum.