Training auf Patch-Ebene für große Sprachmodelle

Patch-Level Training for Large Language Models

July 17, 2024

Autoren: Chenze Shao, Fandong Meng, Jie Zhou

cs.AI

Zusammenfassung

Mit dem beeindruckenden Fortschritt von Large Language Models (LLMs) in der Sprachverarbeitung und -generierung ist die Effizienz ihres Trainings zu einem entscheidenden Anliegen geworden. Traditionell werden LLMs darauf trainiert, das nächste Token in einer Sequenz vorherzusagen. Trotz des Erfolgs des Trainings auf Token-Ebene leidet es unter erheblichen Rechenkosten aufgrund der Notwendigkeit, eine große Anzahl von Tokens zu verarbeiten. Um dieses Problem zu mildern, führt diese Arbeit ein Training auf Patch-Ebene für LLMs ein, das die Sequenzlänge reduziert, indem mehrere Tokens in einen einzelnen Patch komprimiert werden. Während des Trainings auf Patch-Ebene speisen wir dem Sprachmodell kürzere Sequenzen von Patches zu und trainieren es darauf, den nächsten Patch vorherzusagen, wodurch der Großteil der Trainingsdaten zu erheblich reduzierten Rechenkosten verarbeitet wird. Anschließend setzt das Modell das Training auf Token-Ebene mit den verbleibenden Trainingsdaten fort, um mit dem Inferenzmodus übereinzustimmen. Experimente mit einer Vielzahl von Modellen (370M-2.7B Parameter) zeigen, dass das Training auf Patch-Ebene die Gesamtrechenkosten im Vergleich zum Training auf Token-Ebene um das 0,5-fache reduzieren kann, ohne die Modellleistung zu beeinträchtigen. Quellcode: https://github.com/shaochenze/PatchTrain.

English

As Large Language Models (LLMs) achieve remarkable progress in language understanding and generation, their training efficiency has become a critical concern. Traditionally, LLMs are trained to predict the next token in a sequence. Despite the success of token-level training, it suffers from considerable computational costs due to the need to process an extensive number of tokens. To mitigate this issue, this paper introduces patch-level training for LLMs, which reduces the sequence length by compressing multiple tokens into a single patch. During patch-level training, we feed the language model shorter sequences of patches and train it to predict the next patch, thereby processing the majority of the training data at a significantly reduced computational cost. Following this, the model continues token-level training on the remaining training data to align with the inference mode. Experiments on a diverse range of models (370M-2.7B parameters) demonstrate that patch-level training can reduce overall computational costs to 0.5times, without compromising the model performance compared to token-level training. Source code: https://github.com/shaochenze/PatchTrain.