1568 Tokens in één Vector Proppen en Weer Terug: Onderzoek naar de Grenzen van Embeddingruimtecapaciteit

Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity

February 18, 2025

Auteurs: Yuri Kuratov, Mikhail Arkhipov, Aydar Bulatov, Mikhail Burtsev

cs.AI

Samenvatting

Een reeks recente werken richt zich op het probleem van het comprimeren van een reeks tokens tot een kortere reeks reëelwaardige vectoren die als invoer worden gebruikt in plaats van token embeddings of key-value cache. Deze benaderingen maken het mogelijk om de hoeveelheid benodigde rekenkracht in bestaande taalmodellen te verminderen. Ondanks het gebruik van krachtige modellen als encoders, is de maximaal haalbare verliesvrije compressieratio doorgaans niet hoger dan x10. Dit feit is zeer intrigerend omdat, in theorie, de maximale informatiedraagkracht van grote reëelwaardige vectoren ver boven de gepresenteerde ratios ligt, zelfs voor 16-bit precisie en een bescheiden vectorgrootte. In dit werk onderzoeken we de grenzen van compressie door de encoder te vervangen door een per-sample optimalisatieprocedure. We laten zien dat vectoren met compressieratios tot x1500 bestaan, wat een kloof van twee grootteordes benadrukt tussen bestaande en praktisch haalbare oplossingen. Bovendien tonen we empirisch aan dat de compressiegrenzen niet worden bepaald door de lengte van de invoer, maar door de hoeveelheid onzekerheid die moet worden verminderd, namelijk de kruisentropieverlies op deze reeks zonder enige conditionering. De verkregen grenzen benadrukken de aanzienlijke kloof tussen de theoretische capaciteit van invoer-embeddings en hun praktische benutting, wat suggereert dat er aanzienlijke ruimte is voor optimalisatie in modelontwerp.

English

A range of recent works addresses the problem of compression of sequence of tokens into a shorter sequence of real-valued vectors to be used as inputs instead of token embeddings or key-value cache. These approaches allow to reduce the amount of compute in existing language models. Despite relying on powerful models as encoders, the maximum attainable lossless compression ratio is typically not higher than x10. This fact is highly intriguing because, in theory, the maximum information capacity of large real-valued vectors is far beyond the presented rates even for 16-bit precision and a modest vector size. In this work, we explore the limits of compression by replacing the encoder with a per-sample optimization procedure. We show that vectors with compression ratios up to x1500 exist, which highlights two orders of magnitude gap between existing and practically attainable solutions. Furthermore, we empirically show that the compression limits are determined not by the length of the input but by the amount of uncertainty to be reduced, namely, the cross-entropy loss on this sequence without any conditioning. The obtained limits highlight the substantial gap between the theoretical capacity of input embeddings and their practical utilization, suggesting significant room for optimization in model design.