SpacTor-T5: Pre-training van T5-modellen met Span Corruptie en Vervangen Token Detectie

SpacTor-T5: Pre-training T5 Models with Span Corruption and Replaced Token Detection

January 24, 2024

Auteurs: Ke Ye, Heinrich Jiang, Afshin Rostamizadeh, Ayan Chakrabarti, Giulia DeSalvo, Jean-François Kagy, Lazaros Karydas, Gui Citovsky, Sanjiv Kumar

cs.AI

Samenvatting

Het vooraf trainen van grote taalmodellen staat bekend als extreem resource-intensief en vaak inefficiënt, waarbij de informatie in de trainings-tekstreeksen onderbenut blijft. In dit artikel presenteren we SpacTor, een nieuwe trainingsprocedure die bestaat uit (1) een hybride doelstelling die span corruption (SC) en token replacement detection (RTD) combineert, en (2) een tweefasen-curriculum dat de hybride doelstelling optimaliseert gedurende de eerste tau iteraties, waarna het overgaat op standaard SC-verlies. We tonen empirisch aan dat de effectiviteit van de hybride doelstelling verbonden is aan het tweefasen-trainingsschema en bieden uitgebreide analyse waarom dit het geval is. In onze experimenten met encoder-decoder-architecturen (T5) op een verscheidenheid aan NLP-taken, levert SpacTor-T5 dezelfde downstream-prestaties als standaard SC-vooraf-training, terwijl het een reductie van 50% in vooraf-trainingsiteraties en 40% in totale FLOPs mogelijk maakt. Als alternatief, bij hetzelfde rekenbudget, vinden we dat SpacTor resulteert in aanzienlijk verbeterde downstream-benchmarkprestaties.

English

Pre-training large language models is known to be extremely resource intensive and often times inefficient, under-utilizing the information encapsulated in the training text sequences. In this paper, we present SpacTor, a new training procedure consisting of (1) a hybrid objective combining span corruption (SC) and token replacement detection (RTD), and (2) a two-stage curriculum that optimizes the hybrid objective over the initial tau iterations, then transitions to standard SC loss. We show empirically that the effectiveness of the hybrid objective is tied to the two-stage pre-training schedule, and provide extensive analysis on why this is the case. In our experiments with encoder-decoder architectures (T5) on a variety of NLP tasks, SpacTor-T5 yields the same downstream performance as standard SC pre-training, while enabling a 50% reduction in pre-training iterations and 40% reduction in total FLOPs. Alternatively, given the same amount of computing budget, we find that SpacTor results in significantly improved downstream benchmark performance.