Laten we zin voor zin voorspellen

Samenvatting

Autoregressieve taalmodellen (LMs) genereren één token per keer, terwijl menselijk redeneren opereert op hogere abstractieniveaus - zinnen, proposities en concepten. Dit contrast roept een centrale vraag op: Kunnen LMs op een vergelijkbare manier leren redeneren over gestructureerde semantische eenheden in plaats van ruwe tokenreeksen? In dit werk onderzoeken we of voorgetrainde LMs kunnen worden opgetild naar dergelijke abstracte redeneerruimtes door voort te bouwen op hun geleerde representaties. We presenteren een raamwerk dat een voorgetraind token-level LM aanpast om te opereren in zinsruimte door autoregressief continue embeddings van volgende zinnen te voorspellen. We verkennen twee embeddingparadigma's geïnspireerd door klassieke representatieleren: 1) semantische embeddings, geleerd via auto-encodering om de oppervlakkige betekenis te behouden; en 2) contextuele embeddings, getraind via volgende-zin-voorspelling om anticiperende structuur te coderen. We evalueren beide onder twee inferentieregimes: Gediscretiseerd, waarbij elke voorspelde embedding wordt gedecodeerd naar tekst voordat deze opnieuw wordt gecodeerd; en Continu, waarbij volledig in de embeddingruimte wordt geredeneerd voor verbeterde efficiëntie. Over vier domeinen - wiskunde, logica, gezond verstand en planning - laten contextuele embeddings onder continue inferentie competitieve prestaties zien met Chain-of-Thought (CoT) terwijl de inferentietijd FLOPs gemiddeld wordt gehalveerd. We presenteren ook vroege tekenen van schaalbaarheid en modulaire aanpassing. Tot introduceren we SentenceLens, een diagnostisch hulpmiddel dat tussenliggende modeltoestanden decodeert naar interpreteerbare zinnen, om latente trajecten te visualiseren. Samen geven onze resultaten aan dat voorgetrainde LMs effectief kunnen overstappen naar abstract, gestructureerd redeneren binnen latente embeddingruimtes.

English

Autoregressive language models (LMs) generate one token at a time, yet human reasoning operates over higher-level abstractions - sentences, propositions, and concepts. This contrast raises a central question- Can LMs likewise learn to reason over structured semantic units rather than raw token sequences? In this work, we investigate whether pretrained LMs can be lifted into such abstract reasoning spaces by building on their learned representations. We present a framework that adapts a pretrained token-level LM to operate in sentence space by autoregressively predicting continuous embeddings of next sentences. We explore two embedding paradigms inspired by classical representation learning: 1) semantic embeddings, learned via autoencoding to preserve surface meaning; and 2) contextual embeddings, trained via next-sentence prediction to encode anticipatory structure. We evaluate both under two inference regimes: Discretized, which decodes each predicted embedding into text before re-encoding; and Continuous, which reasons entirely in embedding space for improved efficiency. Across four domains - mathematics, logic, commonsense, and planning - contextual embeddings under continuous inference show competitive performance with Chain-of-Thought (CoT) while reducing inference-time FLOPs on average by half. We also present early signs of scalability and modular adaptation. Finally, to visualize latent trajectories, we introduce SentenceLens, a diagnostic tool that decodes intermediate model states into interpretable sentences. Together, our results indicate that pretrained LMs can effectively transition to abstract, structured reasoning within latent embedding spaces.

Laten we zin voor zin voorspellen

Let's Predict Sentence by Sentence

Samenvatting

Support