Predigamos Oración por Oración

Let's Predict Sentence by Sentence

May 28, 2025

Autores: Hyeonbin Hwang, Byeongguk Jeon, Seungone Kim, Jiyeon Kim, Hoyeon Chang, Sohee Yang, Seungpil Won, Dohaeng Lee, Youbin Ahn, Minjoon Seo

cs.AI

Resumen

Los modelos de lenguaje autoregresivos (LMs) generan un token a la vez, mientras que el razonamiento humano opera sobre abstracciones de mayor nivel: oraciones, proposiciones y conceptos. Este contraste plantea una pregunta central: ¿Pueden los LMs aprender también a razonar sobre unidades semánticas estructuradas en lugar de secuencias de tokens crudas? En este trabajo, investigamos si los LMs preentrenados pueden elevarse a tales espacios de razonamiento abstracto basándose en sus representaciones aprendidas. Presentamos un marco que adapta un LM preentrenado a nivel de token para operar en el espacio de oraciones, prediciendo autoregresivamente embeddings continuos de las siguientes oraciones. Exploramos dos paradigmas de embeddings inspirados en el aprendizaje clásico de representaciones: 1) embeddings semánticos, aprendidos mediante auto codificación para preservar el significado superficial; y 2) embeddings contextuales, entrenados mediante la predicción de la siguiente oración para codificar estructura anticipatoria. Evaluamos ambos bajo dos regímenes de inferencia: Discretizado, que decodifica cada embedding predicho en texto antes de volver a codificarlo; y Continuo, que razona completamente en el espacio de embeddings para mejorar la eficiencia. En cuatro dominios —matemáticas, lógica, sentido común y planificación— los embeddings contextuales bajo inferencia continua muestran un rendimiento competitivo con Chain-of-Thought (CoT) mientras reducen los FLOPs en tiempo de inferencia en promedio a la mitad. También presentamos indicios tempranos de escalabilidad y adaptación modular. Finalmente, para visualizar trayectorias latentes, introducimos SentenceLens, una herramienta de diagnóstico que decodifica los estados intermedios del modelo en oraciones interpretables. En conjunto, nuestros resultados indican que los LMs preentrenados pueden transitar efectivamente hacia un razonamiento abstracto y estructurado dentro de espacios latentes de embeddings.

English

Autoregressive language models (LMs) generate one token at a time, yet human reasoning operates over higher-level abstractions - sentences, propositions, and concepts. This contrast raises a central question- Can LMs likewise learn to reason over structured semantic units rather than raw token sequences? In this work, we investigate whether pretrained LMs can be lifted into such abstract reasoning spaces by building on their learned representations. We present a framework that adapts a pretrained token-level LM to operate in sentence space by autoregressively predicting continuous embeddings of next sentences. We explore two embedding paradigms inspired by classical representation learning: 1) semantic embeddings, learned via autoencoding to preserve surface meaning; and 2) contextual embeddings, trained via next-sentence prediction to encode anticipatory structure. We evaluate both under two inference regimes: Discretized, which decodes each predicted embedding into text before re-encoding; and Continuous, which reasons entirely in embedding space for improved efficiency. Across four domains - mathematics, logic, commonsense, and planning - contextual embeddings under continuous inference show competitive performance with Chain-of-Thought (CoT) while reducing inference-time FLOPs on average by half. We also present early signs of scalability and modular adaptation. Finally, to visualize latent trajectories, we introduce SentenceLens, a diagnostic tool that decodes intermediate model states into interpretable sentences. Together, our results indicate that pretrained LMs can effectively transition to abstract, structured reasoning within latent embedding spaces.