Lassen wir Satz für Satz vorhersagen.

Let's Predict Sentence by Sentence

May 28, 2025

Autoren: Hyeonbin Hwang, Byeongguk Jeon, Seungone Kim, Jiyeon Kim, Hoyeon Chang, Sohee Yang, Seungpil Won, Dohaeng Lee, Youbin Ahn, Minjoon Seo

cs.AI

Zusammenfassung

Autoregressive Sprachmodelle (LMs) generieren jeweils ein Token nach dem anderen, während menschliches Denken auf höheren Abstraktionsebenen operiert – Sätze, Propositionen und Konzepte. Dieser Kontrast wirft eine zentrale Frage auf: Können LMs ebenfalls lernen, über strukturierte semantische Einheiten statt über rohe Token-Sequenzen zu schlussfolgern? In dieser Arbeit untersuchen wir, ob vortrainierte LMs durch die Nutzung ihrer gelernten Repräsentationen in solche abstrakten Denkräume gehoben werden können. Wir präsentieren ein Framework, das ein vortrainiertes Token-Level-LM anpasst, um im Satzraum zu operieren, indem es kontinuierliche Embeddings der nächsten Sätze autoregressiv vorhersagt. Wir untersuchen zwei Embedding-Paradigmen, die von klassischer Repräsentationslernforschung inspiriert sind: 1) semantische Embeddings, die durch Autoencoding gelernt werden, um die Oberflächenbedeutung zu bewahren; und 2) kontextuelle Embeddings, die durch Next-Sentence-Prediction trainiert werden, um antizipatorische Strukturen zu kodieren. Wir evaluieren beide unter zwei Inferenzregimen: Diskrete Inferenz, bei der jedes vorhergesagte Embedding in Text dekodiert wird, bevor es erneut kodiert wird; und Kontinuierliche Inferenz, die vollständig im Embedding-Raum schlussfolgert, um die Effizienz zu verbessern. Über vier Domänen hinweg – Mathematik, Logik, Commonsense und Planung – zeigen kontextuelle Embeddings unter kontinuierlicher Inferenz eine wettbewerbsfähige Leistung im Vergleich zu Chain-of-Thought (CoT), während die Inferenzzeit-FLOPs im Durchschnitt halbiert werden. Wir präsentieren auch frühe Anzeichen von Skalierbarkeit und modularer Anpassung. Schließlich führen wir zur Visualisierung latenter Trajektorien SentenceLens ein, ein Diagnosewerkzeug, das Zwischenzustände des Modells in interpretierbare Sätze dekodiert. Zusammengenommen deuten unsere Ergebnisse darauf hin, dass vortrainierte LMs effektiv zu abstraktem, strukturiertem Denken in latenten Embedding-Räumen übergehen können.

English

Autoregressive language models (LMs) generate one token at a time, yet human reasoning operates over higher-level abstractions - sentences, propositions, and concepts. This contrast raises a central question- Can LMs likewise learn to reason over structured semantic units rather than raw token sequences? In this work, we investigate whether pretrained LMs can be lifted into such abstract reasoning spaces by building on their learned representations. We present a framework that adapts a pretrained token-level LM to operate in sentence space by autoregressively predicting continuous embeddings of next sentences. We explore two embedding paradigms inspired by classical representation learning: 1) semantic embeddings, learned via autoencoding to preserve surface meaning; and 2) contextual embeddings, trained via next-sentence prediction to encode anticipatory structure. We evaluate both under two inference regimes: Discretized, which decodes each predicted embedding into text before re-encoding; and Continuous, which reasons entirely in embedding space for improved efficiency. Across four domains - mathematics, logic, commonsense, and planning - contextual embeddings under continuous inference show competitive performance with Chain-of-Thought (CoT) while reducing inference-time FLOPs on average by half. We also present early signs of scalability and modular adaptation. Finally, to visualize latent trajectories, we introduce SentenceLens, a diagnostic tool that decodes intermediate model states into interpretable sentences. Together, our results indicate that pretrained LMs can effectively transition to abstract, structured reasoning within latent embedding spaces.