LLMの潜在能力を探る：ワンステップテキスト生成への応用

Exploring the Latent Capacity of LLMs for One-Step Text Generation

May 27, 2025

著者: Gleb Mezentsev, Ivan Oseledets

cs.AI

要旨

最近の研究によると、大規模言語モデル（LLM）は、特別に訓練された単一の入力埋め込みから自己回帰生成を行うことで、驚くほど長いテキスト（数千トークンに及ぶ）を再構築できることが示されました。本研究では、そのような再構築が自己回帰なしで可能かどうかを探ります。我々は、凍結されたLLMが、学習された2つの埋め込みのみを提供された場合、たった1回のフォワードパスで数百の正確なトークンを生成できることを示します。これは、LLMの驚くべきかつ未開拓の能力、すなわち反復的なデコーディングなしでのマルチトークン生成を明らかにするものです。我々は、これらの埋め込みの挙動を調査し、それらがエンコードする情報の種類について洞察を提供します。また、これらの表現が特定のテキストに対して一意ではないものの、埋め込み空間内で連結された局所的な領域を形成することを実験的に示します。この特性は、その空間への専用エンコーダを学習する可能性を示唆しています。

English

A recent study showed that large language models (LLMs) can reconstruct surprisingly long texts - up to thousands of tokens - via autoregressive generation from just one specially trained input embedding. In this work, we explore whether such reconstruction is possible without autoregression. We show that frozen LLMs can generate hundreds of accurate tokens in just one forward pass, when provided with only two learned embeddings. This reveals a surprising and underexplored capability of LLMs - multi-token generation without iterative decoding. We investigate the behaviour of these embeddings and provide insight into the type of information they encode. We also empirically show that although these representations are not unique for a given text, they form connected and local regions in embedding space - a property that suggests the potential of learning a dedicated encoder into that space.