Comprimindo 1568 Tokens em um Único Vetor e de Volta: Explorando os Limites da Capacidade do Espaço de Embeddings

Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

February 18, 2025

Autores: Yuri Kuratov, Mikhail Arkhipov, Aydar Bulatov, Mikhail Burtsev

cs.AI

Resumo

Uma série de trabalhos recentes aborda o problema da compressão de sequências de tokens em uma sequência mais curta de vetores de valores reais, que são usados como entradas em vez de embeddings de tokens ou cache de chave-valor. Essas abordagens permitem reduzir a quantidade de computação necessária em modelos de linguagem existentes. Apesar de dependerem de modelos poderosos como codificadores, a taxa máxima de compressão sem perdas geralmente não ultrapassa x10. Esse fato é altamente intrigante porque, em teoria, a capacidade máxima de informação de grandes vetores de valores reais está muito além das taxas apresentadas, mesmo para precisão de 16 bits e um tamanho modesto de vetor. Neste trabalho, exploramos os limites da compressão substituindo o codificador por um procedimento de otimização por amostra. Mostramos que vetores com taxas de compressão de até x1500 existem, o que destaca uma diferença de duas ordens de magnitude entre as soluções existentes e as praticamente alcançáveis. Além disso, demonstramos empiricamente que os limites de compressão são determinados não pelo comprimento da entrada, mas pela quantidade de incerteza a ser reduzida, ou seja, pela perda de entropia cruzada nessa sequência sem qualquer condicionamento. Os limites obtidos destacam a lacuna substancial entre a capacidade teórica dos embeddings de entrada e sua utilização prática, sugerindo um espaço significativo para otimização no design de modelos.

English

A range of recent works addresses the problem of compression of sequence of tokens into a shorter sequence of real-valued vectors to be used as inputs instead of token embeddings or key-value cache. These approaches allow to reduce the amount of compute in existing language models. Despite relying on powerful models as encoders, the maximum attainable lossless compression ratio is typically not higher than x10. This fact is highly intriguing because, in theory, the maximum information capacity of large real-valued vectors is far beyond the presented rates even for 16-bit precision and a modest vector size. In this work, we explore the limits of compression by replacing the encoder with a per-sample optimization procedure. We show that vectors with compression ratios up to x1500 exist, which highlights two orders of magnitude gap between existing and practically attainable solutions. Furthermore, we empirically show that the compression limits are determined not by the length of the input but by the amount of uncertainty to be reduced, namely, the cross-entropy loss on this sequence without any conditioning. The obtained limits highlight the substantial gap between the theoretical capacity of input embeddings and their practical utilization, suggesting significant room for optimization in model design.