Comprimiendo 1568 Tokens en un Solo Vector y de Vuelta: Explorando los Límites de la Capacidad del Espacio de Incrustación

Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

February 18, 2025

Autores: Yuri Kuratov, Mikhail Arkhipov, Aydar Bulatov, Mikhail Burtsev

cs.AI

Resumen

Una serie de trabajos recientes aborda el problema de la compresión de secuencias de tokens en una secuencia más corta de vectores de valores reales para ser utilizados como entradas en lugar de incrustaciones de tokens o cachés clave-valor. Estos enfoques permiten reducir la cantidad de cómputo en los modelos de lenguaje existentes. A pesar de depender de modelos potentes como codificadores, la relación máxima de compresión sin pérdida alcanzable no suele ser superior a x10. Este hecho es altamente intrigante porque, en teoría, la capacidad máxima de información de grandes vectores de valores reales está muy por encima de las tasas presentadas, incluso para una precisión de 16 bits y un tamaño de vector modesto. En este trabajo, exploramos los límites de la compresión reemplazando el codificador con un procedimiento de optimización por muestra. Demostramos que existen vectores con relaciones de compresión de hasta x1500, lo que resalta una brecha de dos órdenes de magnitud entre las soluciones existentes y las prácticamente alcanzables. Además, mostramos empíricamente que los límites de compresión no están determinados por la longitud de la entrada, sino por la cantidad de incertidumbre que debe reducirse, es decir, la pérdida de entropía cruzada en esta secuencia sin ningún condicionamiento. Los límites obtenidos destacan la brecha sustancial entre la capacidad teórica de las incrustaciones de entrada y su utilización práctica, sugiriendo un margen significativo para la optimización en el diseño de modelos.

English

A range of recent works addresses the problem of compression of sequence of tokens into a shorter sequence of real-valued vectors to be used as inputs instead of token embeddings or key-value cache. These approaches allow to reduce the amount of compute in existing language models. Despite relying on powerful models as encoders, the maximum attainable lossless compression ratio is typically not higher than x10. This fact is highly intriguing because, in theory, the maximum information capacity of large real-valued vectors is far beyond the presented rates even for 16-bit precision and a modest vector size. In this work, we explore the limits of compression by replacing the encoder with a per-sample optimization procedure. We show that vectors with compression ratios up to x1500 exist, which highlights two orders of magnitude gap between existing and practically attainable solutions. Furthermore, we empirically show that the compression limits are determined not by the length of the input but by the amount of uncertainty to be reduced, namely, the cross-entropy loss on this sequence without any conditioning. The obtained limits highlight the substantial gap between the theoretical capacity of input embeddings and their practical utilization, suggesting significant room for optimization in model design.