Transfer Learning voor Tekst Diffusiemodellen

Transfer Learning for Text Diffusion Models

January 30, 2024

Auteurs: Kehang Han, Kathleen Kenealy, Aditya Barua, Noah Fiedel, Noah Constant

cs.AI

Samenvatting

In dit rapport onderzoeken we de mogelijkheid om tekstdiffusie te gebruiken als vervanging van autoregressief (AR) decoderen voor het trainen en inzetten van grote taalmodelen (LLMs). We zijn vooral geïnteresseerd in de vraag of voorgetrainde AR-modellen kunnen worden omgezet in tekstdiffusiemodellen via een lichtgewicht aanpassingsprocedure die we "AR2Diff" noemen. We beginnen met het opzetten van een sterke baseline-configuratie voor het trainen van tekstdiffusiemodellen. Door verschillende architecturen en vooraf ingestelde doelen te vergelijken, ontdekken we dat het trainen van een decoder-only model met een prefix LM-doelstelling het beste of bijna het beste presteert over meerdere taken. Op basis van deze bevinding testen we verschillende transfer learning-opstellingen voor tekstdiffusiemodellen. Bij machinaal vertalen zien we dat tekstdiffusie onderpresteert vergeleken met de standaard AR-aanpak. Echter, bij codesynthese en extractieve vraag-antwoordtaken presteren diffusiemodellen die vanaf nul zijn getraind in veel gevallen beter dan AR-modellen. We observeren ook kwaliteitswinst door AR2Diff — het aanpassen van AR-modellen om diffusiedecodering te gebruiken. Deze resultaten zijn veelbelovend, aangezien tekstdiffusie relatief onderbelicht is en aanzienlijk sneller kan zijn dan AR-decodering voor het genereren van lange teksten.

English

In this report, we explore the potential for text diffusion to replace autoregressive (AR) decoding for the training and deployment of large language models (LLMs). We are particularly interested to see whether pretrained AR models can be transformed into text diffusion models through a lightweight adaptation procedure we call ``AR2Diff''. We begin by establishing a strong baseline setup for training text diffusion models. Comparing across multiple architectures and pretraining objectives, we find that training a decoder-only model with a prefix LM objective is best or near-best across several tasks. Building on this finding, we test various transfer learning setups for text diffusion models. On machine translation, we find that text diffusion underperforms the standard AR approach. However, on code synthesis and extractive QA, we find diffusion models trained from scratch outperform AR models in many cases. We also observe quality gains from AR2Diff -- adapting AR models to use diffusion decoding. These results are promising given that text diffusion is relatively underexplored and can be significantly faster than AR decoding for long text generation.