UT5: Pré-treinamento do T5 Não Autoregressivo com Desruído Desenrolado
UT5: Pretraining Non autoregressive T5 with unrolled denoising
November 14, 2023
Autores: Mahmoud G. Salem, Jiayu Ye, Chu-Cheng Lin, Frederick Liu
cs.AI
Resumo
Os recentes avanços em modelos de linguagem de grande escala baseados em Transformers têm feito grandes progressos na geração de linguagem natural. No entanto, para decodificar K tokens, um modelo autoregressivo precisa de K passos sequenciais de propagação direta, o que pode se tornar um gargalo de desempenho para modelos de linguagem de grande escala. Muitas pesquisas em modelos não autoregressivos (NAR) visam abordar esse gargalo de sequencialidade, embora muitas tenham se concentrado em arquiteturas dedicadas em benchmarks supervisionados. Neste trabalho, estudamos o pré-treinamento não supervisionado para modelos T5 não autoregressivos por meio de desruído desenrolado e demonstramos seus resultados de estado da arte em tarefas de geração subsequentes, como geração de perguntas no SQuAD e resumos no XSum.
English
Recent advances in Transformer-based Large Language Models have made great
strides in natural language generation. However, to decode K tokens, an
autoregressive model needs K sequential forward passes, which may be a
performance bottleneck for large language models. Many non-autoregressive (NAR)
research are aiming to address this sequentiality bottleneck, albeit many have
focused on a dedicated architecture in supervised benchmarks. In this work, we
studied unsupervised pretraining for non auto-regressive T5 models via unrolled
denoising and shown its SoTA results in downstream generation tasks such as
SQuAD question generation and XSum.