Exploration du potentiel latent des LLM pour la génération de texte en une étape

Exploring the Latent Capacity of LLMs for One-Step Text Generation

May 27, 2025

Auteurs: Gleb Mezentsev, Ivan Oseledets

cs.AI

Résumé

Une étude récente a montré que les grands modèles de langage (LLMs) peuvent reconstruire des textes étonnamment longs - jusqu'à des milliers de tokens - via une génération autorégressive à partir d'un seul embedding d'entrée spécialement entraîné. Dans ce travail, nous explorons si une telle reconstruction est possible sans autorégression. Nous montrons que des LLMs figés peuvent générer des centaines de tokens précis en une seule passe avant, lorsqu'ils sont fournis avec seulement deux embeddings appris. Cela révèle une capacité surprenante et peu explorée des LLMs - la génération multi-tokens sans décodage itératif. Nous étudions le comportement de ces embeddings et apportons un éclairage sur le type d'informations qu'ils encodent. Nous montrons également empiriquement que bien que ces représentations ne soient pas uniques pour un texte donné, elles forment des régions connectées et locales dans l'espace d'embedding - une propriété qui suggère le potentiel d'apprentissage d'un encodeur dédié dans cet espace.

English

A recent study showed that large language models (LLMs) can reconstruct surprisingly long texts - up to thousands of tokens - via autoregressive generation from just one specially trained input embedding. In this work, we explore whether such reconstruction is possible without autoregression. We show that frozen LLMs can generate hundreds of accurate tokens in just one forward pass, when provided with only two learned embeddings. This reveals a surprising and underexplored capability of LLMs - multi-token generation without iterative decoding. We investigate the behaviour of these embeddings and provide insight into the type of information they encode. We also empirically show that although these representations are not unique for a given text, they form connected and local regions in embedding space - a property that suggests the potential of learning a dedicated encoder into that space.