Prédisons phrase par phrase

Let's Predict Sentence by Sentence

May 28, 2025

Auteurs: Hyeonbin Hwang, Byeongguk Jeon, Seungone Kim, Jiyeon Kim, Hoyeon Chang, Sohee Yang, Seungpil Won, Dohaeng Lee, Youbin Ahn, Minjoon Seo

cs.AI

Résumé

Les modèles de langage autoregressifs (LM) génèrent un token à la fois, alors que le raisonnement humain opère sur des abstractions de plus haut niveau - phrases, propositions et concepts. Ce contraste soulève une question centrale : les LM peuvent-ils également apprendre à raisonner sur des unités sémantiques structurées plutôt que sur des séquences brutes de tokens ? Dans ce travail, nous étudions si les LM pré-entraînés peuvent être élevés vers de tels espaces de raisonnement abstrait en s'appuyant sur leurs représentations apprises. Nous présentons un cadre qui adapte un LM pré-entraîné au niveau des tokens pour opérer dans l'espace des phrases en prédictant de manière autoregressive les embeddings continus des phrases suivantes. Nous explorons deux paradigmes d'embedding inspirés de l'apprentissage de représentations classique : 1) les embeddings sémantiques, appris via auto-encodage pour préserver le sens de surface ; et 2) les embeddings contextuels, entraînés via la prédiction de la phrase suivante pour encoder la structure anticipatoire. Nous évaluons les deux sous deux régimes d'inférence : Discretisé, qui décode chaque embedding prédit en texte avant de le ré-encoder ; et Continu, qui raisonne entièrement dans l'espace d'embedding pour une efficacité améliorée. À travers quatre domaines - mathématiques, logique, bon sens et planification - les embeddings contextuels sous inférence continue montrent des performances compétitives avec le Chain-of-Thought (CoT) tout en réduisant en moyenne de moitié les FLOPs au moment de l'inférence. Nous présentons également des signes précoces de scalabilité et d'adaptation modulaire. Enfin, pour visualiser les trajectoires latentes, nous introduisons SentenceLens, un outil de diagnostic qui décode les états intermédiaires du modèle en phrases interprétables. Ensemble, nos résultats indiquent que les LM pré-entraînés peuvent effectivement transitionner vers un raisonnement abstrait et structuré au sein d'espaces d'embedding latents.

English

Autoregressive language models (LMs) generate one token at a time, yet human reasoning operates over higher-level abstractions - sentences, propositions, and concepts. This contrast raises a central question- Can LMs likewise learn to reason over structured semantic units rather than raw token sequences? In this work, we investigate whether pretrained LMs can be lifted into such abstract reasoning spaces by building on their learned representations. We present a framework that adapts a pretrained token-level LM to operate in sentence space by autoregressively predicting continuous embeddings of next sentences. We explore two embedding paradigms inspired by classical representation learning: 1) semantic embeddings, learned via autoencoding to preserve surface meaning; and 2) contextual embeddings, trained via next-sentence prediction to encode anticipatory structure. We evaluate both under two inference regimes: Discretized, which decodes each predicted embedding into text before re-encoding; and Continuous, which reasons entirely in embedding space for improved efficiency. Across four domains - mathematics, logic, commonsense, and planning - contextual embeddings under continuous inference show competitive performance with Chain-of-Thought (CoT) while reducing inference-time FLOPs on average by half. We also present early signs of scalability and modular adaptation. Finally, to visualize latent trajectories, we introduce SentenceLens, a diagnostic tool that decodes intermediate model states into interpretable sentences. Together, our results indicate that pretrained LMs can effectively transition to abstract, structured reasoning within latent embedding spaces.