Трансферное обучение для моделей диффузии текста

Transfer Learning for Text Diffusion Models

January 30, 2024

Авторы: Kehang Han, Kathleen Kenealy, Aditya Barua, Noah Fiedel, Noah Constant

cs.AI

Аннотация

В данном отчете мы исследуем потенциал использования диффузии текста в качестве альтернативы авторегрессивному (AR) декодированию для обучения и применения крупных языковых моделей (LLM). Нас особенно интересует, можно ли преобразовать предобученные AR-модели в модели диффузии текста с помощью легковесной процедуры адаптации, которую мы называем «AR2Diff». Мы начинаем с создания надежной базовой конфигурации для обучения моделей диффузии текста. Сравнивая различные архитектуры и цели предобучения, мы обнаруживаем, что обучение модели только с декодером и использованием задачи префиксного языкового моделирования (prefix LM) показывает наилучшие или близкие к ним результаты в нескольких задачах. Опираясь на это наблюдение, мы тестируем различные подходы к трансферному обучению для моделей диффузии текста. В задаче машинного перевода мы обнаруживаем, что диффузия текста уступает стандартному AR-подходу. Однако в задачах синтеза кода и извлечения ответов на вопросы (extractive QA) модели диффузии, обученные с нуля, во многих случаях превосходят AR-модели. Мы также отмечаем улучшение качества при использовании AR2Diff — адаптации AR-моделей для декодирования с помощью диффузии. Эти результаты обнадеживают, учитывая, что диффузия текста остается малоизученной и может быть значительно быстрее AR-декодирования при генерации длинных текстов.

English

In this report, we explore the potential for text diffusion to replace autoregressive (AR) decoding for the training and deployment of large language models (LLMs). We are particularly interested to see whether pretrained AR models can be transformed into text diffusion models through a lightweight adaptation procedure we call ``AR2Diff''. We begin by establishing a strong baseline setup for training text diffusion models. Comparing across multiple architectures and pretraining objectives, we find that training a decoder-only model with a prefix LM objective is best or near-best across several tasks. Building on this finding, we test various transfer learning setups for text diffusion models. On machine translation, we find that text diffusion underperforms the standard AR approach. However, on code synthesis and extractive QA, we find diffusion models trained from scratch outperform AR models in many cases. We also observe quality gains from AR2Diff -- adapting AR models to use diffusion decoding. These results are promising given that text diffusion is relatively underexplored and can be significantly faster than AR decoding for long text generation.