UT5: アンロールド・デノイジングを用いた非自己回帰型T5の事前学習

UT5: Pretraining Non autoregressive T5 with unrolled denoising

November 14, 2023

著者: Mahmoud G. Salem, Jiayu Ye, Chu-Cheng Lin, Frederick Liu

cs.AI

要旨

Transformerベースの大規模言語モデルの最近の進展により、自然言語生成が大きく進歩しました。しかし、K個のトークンをデコードするためには、自己回帰モデルはK回の逐次的なフォワードパスを必要とし、大規模言語モデルにとって性能上のボトルネックとなる可能性があります。多くの非自己回帰（NAR）研究は、この逐次性のボトルネックに対処することを目指していますが、その多くは教師ありベンチマークにおける専用アーキテクチャに焦点を当てています。本研究では、アンロールド・デノイジングを介した非自己回帰T5モデルの教師なし事前学習を検討し、SQuAD質問生成やXSumなどの下流生成タスクにおいてSoTAの結果を示しました。

English

Recent advances in Transformer-based Large Language Models have made great strides in natural language generation. However, to decode K tokens, an autoregressive model needs K sequential forward passes, which may be a performance bottleneck for large language models. Many non-autoregressive (NAR) research are aiming to address this sequentiality bottleneck, albeit many have focused on a dedicated architecture in supervised benchmarks. In this work, we studied unsupervised pretraining for non auto-regressive T5 models via unrolled denoising and shown its SoTA results in downstream generation tasks such as SQuAD question generation and XSum.