文ごとに予測してみましょう

Let's Predict Sentence by Sentence

May 28, 2025

著者: Hyeonbin Hwang, Byeongguk Jeon, Seungone Kim, Jiyeon Kim, Hoyeon Chang, Sohee Yang, Seungpil Won, Dohaeng Lee, Youbin Ahn, Minjoon Seo

cs.AI

要旨

自己回帰型言語モデル（LM）は一度に一つのトークンを生成しますが、人間の推論はより高次の抽象化レベル（文、命題、概念）で行われます。この対比から、LMも同様に生のトークン列ではなく構造化された意味単位を推論できるようになるかという中心的な疑問が生じます。本研究では、事前学習済みLMがその学習済み表現を基盤として、そのような抽象的な推論空間に昇華できるかどうかを調査します。我々は、事前学習済みのトークンレベルLMを文空間で動作させるためのフレームワークを提示します。これは、次の文の連続的な埋め込みを自己回帰的に予測することで実現されます。古典的な表現学習に着想を得た2つの埋め込みパラダイムを探求します：1）表面の意味を保存するためにオートエンコーディングを通じて学習される意味的埋め込み、2）予測的構造をエンコードするために次の文予測を通じて学習される文脈的埋め込み。これらを2つの推論体制の下で評価します：離散化推論（各予測埋め込みをテキストにデコードしてから再エンコードする）と連続推論（効率性向上のために埋め込み空間内で完全に推論を行う）。数学、論理、常識、計画の4つの領域において、連続推論下での文脈的埋め込みはChain-of-Thought（CoT）と競合する性能を示し、推論時のFLOPsを平均して半分に削減します。また、スケーラビリティとモジュール適応の初期兆候も提示します。最後に、潜在的な軌跡を可視化するために、中間モデル状態を解釈可能な文にデコードする診断ツールSentenceLensを導入します。全体として、我々の結果は、事前学習済みLMが潜在埋め込み空間内で効果的に抽象的で構造化された推論に移行できることを示唆しています。

English

Autoregressive language models (LMs) generate one token at a time, yet human reasoning operates over higher-level abstractions - sentences, propositions, and concepts. This contrast raises a central question- Can LMs likewise learn to reason over structured semantic units rather than raw token sequences? In this work, we investigate whether pretrained LMs can be lifted into such abstract reasoning spaces by building on their learned representations. We present a framework that adapts a pretrained token-level LM to operate in sentence space by autoregressively predicting continuous embeddings of next sentences. We explore two embedding paradigms inspired by classical representation learning: 1) semantic embeddings, learned via autoencoding to preserve surface meaning; and 2) contextual embeddings, trained via next-sentence prediction to encode anticipatory structure. We evaluate both under two inference regimes: Discretized, which decodes each predicted embedding into text before re-encoding; and Continuous, which reasons entirely in embedding space for improved efficiency. Across four domains - mathematics, logic, commonsense, and planning - contextual embeddings under continuous inference show competitive performance with Chain-of-Thought (CoT) while reducing inference-time FLOPs on average by half. We also present early signs of scalability and modular adaptation. Finally, to visualize latent trajectories, we introduce SentenceLens, a diagnostic tool that decodes intermediate model states into interpretable sentences. Together, our results indicate that pretrained LMs can effectively transition to abstract, structured reasoning within latent embedding spaces.