Comprimere 1568 Token in un Singolo Vettore e Ritorno: Esplorare i Limiti della Capacità dello Spazio di Embedding

Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

February 18, 2025

Autori: Yuri Kuratov, Mikhail Arkhipov, Aydar Bulatov, Mikhail Burtsev

cs.AI

Abstract

Una serie di lavori recenti affronta il problema della compressione di sequenze di token in una sequenza più breve di vettori a valori reali da utilizzare come input al posto degli embedding di token o della cache chiave-valore. Questi approcci consentono di ridurre la quantità di calcolo nei modelli linguistici esistenti. Nonostante si basino su potenti modelli come encoder, il rapporto di compressione massimo ottenibile senza perdita di informazioni tipicamente non supera x10. Questo fatto è altamente intrigante perché, in teoria, la capacità massima di informazione di grandi vettori a valori reali è ben al di là dei tassi presentati, anche per una precisione a 16 bit e una dimensione modesta del vettore. In questo lavoro, esploriamo i limiti della compressione sostituendo l'encoder con una procedura di ottimizzazione per campione. Mostriamo che esistono vettori con rapporti di compressione fino a x1500, evidenziando un divario di due ordini di grandezza tra le soluzioni esistenti e quelle praticamente raggiungibili. Inoltre, dimostriamo empiricamente che i limiti di compressione non sono determinati dalla lunghezza dell'input, ma dalla quantità di incertezza da ridurre, ovvero dalla perdita di entropia incrociata su questa sequenza senza alcun condizionamento. I limiti ottenuti evidenziano il divario sostanziale tra la capacità teorica degli embedding di input e il loro utilizzo pratico, suggerendo un ampio margine di ottimizzazione nella progettazione dei modelli.

English

A range of recent works addresses the problem of compression of sequence of tokens into a shorter sequence of real-valued vectors to be used as inputs instead of token embeddings or key-value cache. These approaches allow to reduce the amount of compute in existing language models. Despite relying on powerful models as encoders, the maximum attainable lossless compression ratio is typically not higher than x10. This fact is highly intriguing because, in theory, the maximum information capacity of large real-valued vectors is far beyond the presented rates even for 16-bit precision and a modest vector size. In this work, we explore the limits of compression by replacing the encoder with a per-sample optimization procedure. We show that vectors with compression ratios up to x1500 exist, which highlights two orders of magnitude gap between existing and practically attainable solutions. Furthermore, we empirically show that the compression limits are determined not by the length of the input but by the amount of uncertainty to be reduced, namely, the cross-entropy loss on this sequence without any conditioning. The obtained limits highlight the substantial gap between the theoretical capacity of input embeddings and their practical utilization, suggesting significant room for optimization in model design.