Erforschung der latenten Fähigkeiten von LLMs für die Ein-Schritt-Textgenerierung

Exploring the Latent Capacity of LLMs for One-Step Text Generation

May 27, 2025

Autoren: Gleb Mezentsev, Ivan Oseledets

cs.AI

Zusammenfassung

Eine aktuelle Studie zeigte, dass große Sprachmodelle (LLMs) überraschend lange Texte – bis zu Tausende von Tokens – durch autoregressive Generierung aus nur einem speziell trainierten Eingabe-Embedding rekonstruieren können. In dieser Arbeit untersuchen wir, ob eine solche Rekonstruktion ohne Autoregression möglich ist. Wir zeigen, dass eingefrorene LLMs Hunderte von genauen Tokens in nur einem Vorwärtsdurchlauf erzeugen können, wenn sie mit nur zwei gelernten Embeddings versorgt werden. Dies offenbart eine überraschende und bisher wenig erforschte Fähigkeit von LLMs – die Multi-Token-Generierung ohne iteratives Decoding. Wir untersuchen das Verhalten dieser Embeddings und geben Einblicke in die Art der Informationen, die sie kodieren. Wir zeigen empirisch, dass diese Repräsentationen zwar nicht einzigartig für einen bestimmten Text sind, aber zusammenhängende und lokale Regionen im Embedding-Raum bilden – eine Eigenschaft, die das Potenzial nahelegt, einen dedizierten Encoder in diesen Raum zu lernen.

English

A recent study showed that large language models (LLMs) can reconstruct surprisingly long texts - up to thousands of tokens - via autoregressive generation from just one specially trained input embedding. In this work, we explore whether such reconstruction is possible without autoregression. We show that frozen LLMs can generate hundreds of accurate tokens in just one forward pass, when provided with only two learned embeddings. This reveals a surprising and underexplored capability of LLMs - multi-token generation without iterative decoding. We investigate the behaviour of these embeddings and provide insight into the type of information they encode. We also empirically show that although these representations are not unique for a given text, they form connected and local regions in embedding space - a property that suggests the potential of learning a dedicated encoder into that space.