Vamos Prever Frase por Frase

Resumo

Modelos de linguagem autoregressivos (LMs) geram um token de cada vez, enquanto o raciocínio humano opera em abstrações de nível superior - frases, proposições e conceitos. Esse contraste levanta uma questão central: Os LMs podem, da mesma forma, aprender a raciocinar sobre unidades semânticas estruturadas em vez de sequências brutas de tokens? Neste trabalho, investigamos se LMs pré-treinados podem ser elevados a tais espaços de raciocínio abstrato, construindo sobre suas representações aprendidas. Apresentamos um framework que adapta um LM pré-treinado no nível de token para operar no espaço de frases, prevendo autoregressivamente embeddings contínuos de próximas frases. Exploramos dois paradigmas de embeddings inspirados em aprendizado de representação clássico: 1) embeddings semânticos, aprendidos via autoencodificação para preservar o significado superficial; e 2) embeddings contextuais, treinados via previsão de próxima frase para codificar estrutura antecipatória. Avaliamos ambos sob dois regimes de inferência: Discretizado, que decodifica cada embedding previsto em texto antes de re-codificar; e Contínuo, que raciocina inteiramente no espaço de embeddings para maior eficiência. Em quatro domínios - matemática, lógica, senso comum e planejamento - embeddings contextuais sob inferência contínua mostram desempenho competitivo com Chain-of-Thought (CoT) enquanto reduzem, em média, pela metade os FLOPs no tempo de inferência. Também apresentamos sinais iniciais de escalabilidade e adaptação modular. Por fim, para visualizar trajetórias latentes, introduzimos o SentenceLens, uma ferramenta de diagnóstico que decodifica estados intermediários do modelo em frases interpretáveis. Juntos, nossos resultados indicam que LMs pré-treinados podem efetivamente transicionar para o raciocínio abstrato e estruturado dentro de espaços latentes de embeddings.

English

Autoregressive language models (LMs) generate one token at a time, yet human reasoning operates over higher-level abstractions - sentences, propositions, and concepts. This contrast raises a central question- Can LMs likewise learn to reason over structured semantic units rather than raw token sequences? In this work, we investigate whether pretrained LMs can be lifted into such abstract reasoning spaces by building on their learned representations. We present a framework that adapts a pretrained token-level LM to operate in sentence space by autoregressively predicting continuous embeddings of next sentences. We explore two embedding paradigms inspired by classical representation learning: 1) semantic embeddings, learned via autoencoding to preserve surface meaning; and 2) contextual embeddings, trained via next-sentence prediction to encode anticipatory structure. We evaluate both under two inference regimes: Discretized, which decodes each predicted embedding into text before re-encoding; and Continuous, which reasons entirely in embedding space for improved efficiency. Across four domains - mathematics, logic, commonsense, and planning - contextual embeddings under continuous inference show competitive performance with Chain-of-Thought (CoT) while reducing inference-time FLOPs on average by half. We also present early signs of scalability and modular adaptation. Finally, to visualize latent trajectories, we introduce SentenceLens, a diagnostic tool that decodes intermediate model states into interpretable sentences. Together, our results indicate that pretrained LMs can effectively transition to abstract, structured reasoning within latent embedding spaces.

Vamos Prever Frase por Frase

Let's Predict Sentence by Sentence

Resumo

Support