Insegnare ai modelli linguistici preaddestrati a pensare più a fondo con la retrofitting della ricorrenza

Abstract

I recenti progressi nei modelli linguistici a ricorrenza di profondità dimostrano che la ricorrenza può disaccoppiare il calcolo in fase di addestramento e il numero di parametri dal calcolo in fase di test. In questo lavoro, studiamo come convertire modelli linguistici preaddestrati non ricorrenti esistenti in modelli a ricorrenza di profondità. Scopriamo che l'utilizzo di un curriculum di ricorrenze per aumentare progressivamente la profondità effettiva del modello durante l'addestramento preserva le prestazioni riducendo al contempo il costo computazionale totale. Nei nostri esperimenti, in ambito matematico, osserviamo che convertire modelli preaddestrati in modelli ricorrenti produce prestazioni migliori a parità di budget computazionale rispetto al semplice post-addestramento del modello linguistico non ricorrente originale.

English

Recent advances in depth-recurrent language models show that recurrence can decouple train-time compute and parameter count from test-time compute. In this work, we study how to convert existing pretrained non-recurrent language models into depth-recurrent models. We find that using a curriculum of recurrences to increase the effective depth of the model over the course of training preserves performance while reducing total computational cost. In our experiments, on mathematics, we observe that converting pretrained models to recurrent ones results in better performance at a given compute budget than simply post-training the original non-recurrent language model.

Insegnare ai modelli linguistici preaddestrati a pensare più a fondo con la retrofitting della ricorrenza

Teaching Pretrained Language Models to Think Deeper with Retrofitted Recurrence

Abstract

Support