SpacTor-T5: Entrenamiento previo de modelos T5 con corrupción de segmentos y detección de tokens reemplazados

SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection

January 24, 2024

Autores: Ke Ye, Heinrich Jiang, Afshin Rostamizadeh, Ayan Chakrabarti, Giulia DeSalvo, Jean-François Kagy, Lazaros Karydas, Gui Citovsky, Sanjiv Kumar

cs.AI

Resumen

El preentrenamiento de modelos de lenguaje grandes es conocido por ser extremadamente intensivo en recursos y, en muchas ocasiones, ineficiente, subutilizando la información encapsulada en las secuencias de texto de entrenamiento. En este artículo, presentamos SpacTor, un nuevo procedimiento de entrenamiento que consiste en (1) un objetivo híbrido que combina la corrupción de segmentos (SC, por sus siglas en inglés) y la detección de reemplazo de tokens (RTD), y (2) un currículo de dos etapas que optimiza el objetivo híbrido durante las primeras iteraciones tau, para luego transicionar a la pérdida estándar de SC. Demostramos empíricamente que la efectividad del objetivo híbrido está ligada al esquema de preentrenamiento de dos etapas, y proporcionamos un análisis extenso sobre las razones detrás de este fenómeno. En nuestros experimentos con arquitecturas de codificador-decodificador (T5) en una variedad de tareas de procesamiento de lenguaje natural (NLP), SpacTor-T5 logra el mismo rendimiento en tareas posteriores que el preentrenamiento estándar con SC, mientras permite una reducción del 50% en las iteraciones de preentrenamiento y un 40% en el total de operaciones de punto flotante (FLOPs). Alternativamente, dado el mismo presupuesto computacional, encontramos que SpacTor resulta en un rendimiento significativamente mejorado en los puntos de referencia posteriores.

English

Pre-training large language models is known to be extremely resource intensive and often times inefficient, under-utilizing the information encapsulated in the training text sequences. In this paper, we present SpacTor, a new training procedure consisting of (1) a hybrid objective combining span corruption (SC) and token replacement detection (RTD), and (2) a two-stage curriculum that optimizes the hybrid objective over the initial tau iterations, then transitions to standard SC loss. We show empirically that the effectiveness of the hybrid objective is tied to the two-stage pre-training schedule, and provide extensive analysis on why this is the case. In our experiments with encoder-decoder architectures (T5) on a variety of NLP tasks, SpacTor-T5 yields the same downstream performance as standard SC pre-training, while enabling a 50% reduction in pre-training iterations and 40% reduction in total FLOPs. Alternatively, given the same amount of computing budget, we find that SpacTor results in significantly improved downstream benchmark performance.