SpacTor-T5: Pre-addestramento di modelli T5 con Corruzione di Span e Rilevamento di Token Sostituiti

SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection

January 24, 2024

Autori: Ke Ye, Heinrich Jiang, Afshin Rostamizadeh, Ayan Chakrabarti, Giulia DeSalvo, Jean-François Kagy, Lazaros Karydas, Gui Citovsky, Sanjiv Kumar

cs.AI

Abstract

È noto che il pre-training di modelli linguistici di grandi dimensioni sia estremamente dispendioso in termini di risorse e spesso inefficiente, sottoutilizzando le informazioni contenute nelle sequenze di testo di addestramento. In questo articolo, presentiamo SpacTor, una nuova procedura di addestramento composta da (1) un obiettivo ibrido che combina la corruzione di span (SC) e il rilevamento della sostituzione di token (RTD), e (2) un curriculum in due fasi che ottimizza l'obiettivo ibrido per le prime iterazioni tau, per poi passare alla perdita SC standard. Dimostriamo empiricamente che l'efficacia dell'obiettivo ibrido è legata al programma di pre-training in due fasi e forniamo un'analisi approfondita del motivo per cui ciò avviene. Nei nostri esperimenti con architetture encoder-decoder (T5) su una varietà di task NLP, SpacTor-T5 raggiunge le stesse prestazioni downstream del pre-training SC standard, consentendo una riduzione del 50% delle iterazioni di pre-training e del 40% del totale di FLOPs. In alternativa, dato lo stesso budget computazionale, troviamo che SpacTor porta a un miglioramento significativo delle prestazioni sui benchmark downstream.

English

Pre-training large language models is known to be extremely resource intensive and often times inefficient, under-utilizing the information encapsulated in the training text sequences. In this paper, we present SpacTor, a new training procedure consisting of (1) a hybrid objective combining span corruption (SC) and token replacement detection (RTD), and (2) a two-stage curriculum that optimizes the hybrid objective over the initial tau iterations, then transitions to standard SC loss. We show empirically that the effectiveness of the hybrid objective is tied to the two-stage pre-training schedule, and provide extensive analysis on why this is the case. In our experiments with encoder-decoder architectures (T5) on a variety of NLP tasks, SpacTor-T5 yields the same downstream performance as standard SC pre-training, while enabling a 50% reduction in pre-training iterations and 40% reduction in total FLOPs. Alternatively, given the same amount of computing budget, we find that SpacTor results in significantly improved downstream benchmark performance.