SkyLadder: Pretraining Migliore e Più Veloce tramite Pianificazione della Finestra di Contesto

SkyLadder: Better and Faster Pretraining via Context Window Scheduling

March 19, 2025

Autori: Tongyao Zhu, Qian Liu, Haonan Wang, Shiqi Chen, Xiangming Gu, Tianyu Pang, Min-Yen Kan

cs.AI

Abstract

I recenti progressi nel pre-addestramento dei modelli linguistici di grandi dimensioni (LLM) hanno visto l'espansione continua delle finestre contestuali per elaborare sequenze più lunghe. Tuttavia, il nostro studio pilota rivela che i modelli pre-addestrati con finestre contestuali più brevi superano costantemente le loro controparti con contesto lungo, a parità di budget di token. Questa scoperta ci spinge a esplorare una strategia ottimale di pianificazione della finestra contestuale per bilanciare meglio la capacità di gestire contesti lunghi con l'efficienza del pre-addestramento. A tal fine, proponiamo SkyLadder, un approccio semplice ma efficace che implementa una transizione da finestre contestuali brevi a lunghe. SkyLadder preserva prestazioni solide sui benchmark standard, eguagliando o superando i risultati di riferimento nelle attività con contesto lungo. Attraverso esperimenti estesi, abbiamo pre-addestrato modelli da 1 miliardo di parametri (fino a 32K di contesto) e modelli da 3 miliardi di parametri (8K di contesto) su 100 miliardi di token, dimostrando che SkyLadder produce guadagni consistenti fino al 3,7% sui benchmark comuni, raggiungendo velocità di addestramento fino al 22% più rapide rispetto ai metodi di riferimento. Il codice è disponibile all'indirizzo https://github.com/sail-sg/SkyLadder.

English

Recent advancements in LLM pretraining have featured ever-expanding context windows to process longer sequences. However, our pilot study reveals that models pretrained with shorter context windows consistently outperform their long-context counterparts under a fixed token budget. This finding motivates us to explore an optimal context window scheduling strategy to better balance long-context capability with pretraining efficiency. To this end, we propose SkyLadder, a simple yet effective approach that implements a short-to-long context window transition. SkyLadder preserves strong standard benchmark performance, while matching or exceeding baseline results on long context tasks. Through extensive experiments, we pre-train 1B-parameter models (up to 32K context) and 3B-parameter models (8K context) on 100B tokens, demonstrating that SkyLadder yields consistent gains of up to 3.7% on common benchmarks, while achieving up to 22% faster training speeds compared to baselines. The code is at https://github.com/sail-sg/SkyLadder.