1568 Token in einen einzigen Vektor packen und zurück: Erforschung der Grenzen der Einbettungsraumkapazität

Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

February 18, 2025

Autoren: Yuri Kuratov, Mikhail Arkhipov, Aydar Bulatov, Mikhail Burtsev

cs.AI

Zusammenfassung

Eine Reihe aktueller Arbeiten beschäftigt sich mit dem Problem der Kompression von Token-Sequenzen in kürzere Sequenzen von reellwertigen Vektoren, die anstelle von Token-Embeddings oder Key-Value-Caches als Eingaben verwendet werden. Diese Ansätze ermöglichen es, den Rechenaufwand bestehender Sprachmodelle zu reduzieren. Obwohl leistungsstarke Modelle als Encoder verwendet werden, liegt das maximal erreichbare verlustfreie Kompressionsverhältnis typischerweise nicht höher als x10. Diese Tatsache ist äußerst bemerkenswert, da die maximale Informationskapazität großer reellwertiger Vektoren theoretisch weit über den dargestellten Raten liegt, selbst bei 16-Bit-Genauigkeit und einer moderaten Vektorgröße. In dieser Arbeit untersuchen wir die Grenzen der Kompression, indem wir den Encoder durch ein pro-Probe-Optimierungsverfahren ersetzen. Wir zeigen, dass Vektoren mit Kompressionsverhältnissen von bis zu x1500 existieren, was eine Differenz von zwei Größenordnungen zwischen bestehenden und praktisch erreichbaren Lösungen aufzeigt. Darüber hinaus zeigen wir empirisch, dass die Kompressionsgrenzen nicht durch die Länge der Eingabe, sondern durch die Menge der zu reduzierenden Unsicherheit bestimmt werden, nämlich den Cross-Entropy-Verlust für diese Sequenz ohne jegliche Konditionierung. Die gewonnenen Grenzen verdeutlichen die erhebliche Lücke zwischen der theoretischen Kapazität von Eingabe-Embeddings und ihrer praktischen Nutzung, was auf erheblichen Optimierungsspielraum im Modellentwurf hindeutet.

English

A range of recent works addresses the problem of compression of sequence of tokens into a shorter sequence of real-valued vectors to be used as inputs instead of token embeddings or key-value cache. These approaches allow to reduce the amount of compute in existing language models. Despite relying on powerful models as encoders, the maximum attainable lossless compression ratio is typically not higher than x10. This fact is highly intriguing because, in theory, the maximum information capacity of large real-valued vectors is far beyond the presented rates even for 16-bit precision and a modest vector size. In this work, we explore the limits of compression by replacing the encoder with a per-sample optimization procedure. We show that vectors with compression ratios up to x1500 exist, which highlights two orders of magnitude gap between existing and practically attainable solutions. Furthermore, we empirically show that the compression limits are determined not by the length of the input but by the amount of uncertainty to be reduced, namely, the cross-entropy loss on this sequence without any conditioning. The obtained limits highlight the substantial gap between the theoretical capacity of input embeddings and their practical utilization, suggesting significant room for optimization in model design.