Addestramento di LLM su testi compressi neuralmente

Abstract

In questo articolo, esploriamo l'idea di addestrare grandi modelli linguistici (LLM) su testo altamente compresso. Mentre i tokenizer sub-parola standard comprimono il testo di un fattore ridotto, i compressori neurali di testo possono raggiungere tassi di compressione molto più elevati. Se fosse possibile addestrare direttamente gli LLM su testo compresso neuralmente, ciò conferirebbe vantaggi in termini di efficienza nell'addestramento e nel servizio, oltre a una gestione più semplice di testi lunghi. Il principale ostacolo a questo obiettivo è che una forte compressione tende a produrre output opachi che non si prestano bene all'apprendimento. In particolare, abbiamo riscontrato che il testo compresso in modo ingenuo tramite Codifica Aritmetica non è facilmente apprendibile dagli LLM. Per superare questo problema, proponiamo Equal-Info Windows, una nuova tecnica di compressione in cui il testo viene segmentato in blocchi che si comprimono ciascuno alla stessa lunghezza in bit. Utilizzando questo metodo, dimostriamo un apprendimento efficace su testo compresso neuralmente che migliora con la scala, e supera ampiamente i baseline a livello di byte nei benchmark di perplessità e velocità di inferenza. Sebbene il nostro metodo fornisca una perplessità peggiore rispetto ai tokenizer sub-parola per modelli addestrati con lo stesso numero di parametri, ha il vantaggio di lunghezze di sequenza più brevi. Le sequenze più corte richiedono meno passaggi di generazione autoregressiva e riducono la latenza. Infine, forniamo un'analisi approfondita delle proprietà che contribuiscono all'apprendibilità e offriamo suggerimenti concreti su come migliorare ulteriormente le prestazioni dei tokenizer ad alta compressione.

English

In this paper, we explore the idea of training large language models (LLMs) over highly compressed text. While standard subword tokenizers compress text by a small factor, neural text compressors can achieve much higher rates of compression. If it were possible to train LLMs directly over neurally compressed text, this would confer advantages in training and serving efficiency, as well as easier handling of long text spans. The main obstacle to this goal is that strong compression tends to produce opaque outputs that are not well-suited for learning. In particular, we find that text na\"ively compressed via Arithmetic Coding is not readily learnable by LLMs. To overcome this, we propose Equal-Info Windows, a novel compression technique whereby text is segmented into blocks that each compress to the same bit length. Using this method, we demonstrate effective learning over neurally compressed text that improves with scale, and outperforms byte-level baselines by a wide margin on perplexity and inference speed benchmarks. While our method delivers worse perplexity than subword tokenizers for models trained with the same parameter count, it has the benefit of shorter sequence lengths. Shorter sequence lengths require fewer autoregressive generation steps, and reduce latency. Finally, we provide extensive analysis of the properties that contribute to learnability, and offer concrete suggestions for how to further improve the performance of high-compression tokenizers.

Addestramento di LLM su testi compressi neuralmente

Training LLMs over Neurally Compressed Text

Abstract

Support