Het verkennen van het latente vermogen van LLM's voor tekstgeneratie in één stap

Exploring the Latent Capacity of LLMs for One-Step Text Generation

May 27, 2025

Auteurs: Gleb Mezentsev, Ivan Oseledets

cs.AI

Samenvatting

Een recente studie toonde aan dat grote taalmodelen (LLM’s) verrassend lange teksten - tot duizenden tokens - kunnen reconstrueren via autoregressieve generatie vanuit slechts één speciaal getrainde invoerembedding. In dit werk onderzoeken we of een dergelijke reconstructie mogelijk is zonder autoregressie. We tonen aan dat bevroren LLM’s honderden nauwkeurige tokens kunnen genereren in slechts één voorwaartse doorloop, wanneer ze worden voorzien van slechts twee geleerde embeddings. Dit onthult een verrassende en onderbelichte capaciteit van LLM’s: multi-token generatie zonder iteratieve decodering. We onderzoeken het gedrag van deze embeddings en geven inzicht in het type informatie dat ze coderen. We tonen ook empirisch aan dat hoewel deze representaties niet uniek zijn voor een gegeven tekst, ze verbonden en lokale regio’s vormen in de embeddingruimte - een eigenschap die het potentieel suggereert van het leren van een toegewijde encoder in die ruimte.

English

A recent study showed that large language models (LLMs) can reconstruct surprisingly long texts - up to thousands of tokens - via autoregressive generation from just one specially trained input embedding. In this work, we explore whether such reconstruction is possible without autoregression. We show that frozen LLMs can generate hundreds of accurate tokens in just one forward pass, when provided with only two learned embeddings. This reveals a surprising and underexplored capability of LLMs - multi-token generation without iterative decoding. We investigate the behaviour of these embeddings and provide insight into the type of information they encode. We also empirically show that although these representations are not unique for a given text, they form connected and local regions in embedding space - a property that suggests the potential of learning a dedicated encoder into that space.