Давайте предсказывать предложение за предложением

Let's Predict Sentence by Sentence

May 28, 2025

Авторы: Hyeonbin Hwang, Byeongguk Jeon, Seungone Kim, Jiyeon Kim, Hoyeon Chang, Sohee Yang, Seungpil Won, Dohaeng Lee, Youbin Ahn, Minjoon Seo

cs.AI

Аннотация

Авторегрессионные языковые модели (LM) генерируют по одному токену за раз, тогда как человеческое мышление оперирует более высокоуровневыми абстракциями — предложениями, утверждениями и концепциями. Это различие поднимает ключевой вопрос: могут ли LM аналогичным образом научиться рассуждать над структурированными семантическими единицами, а не над последовательностями сырых токенов? В данной работе мы исследуем, можно ли поднять предобученные LM в такие абстрактные пространства рассуждений, основываясь на их изученных представлениях. Мы представляем фреймворк, который адаптирует предобученную токен-уровневую LM для работы в пространстве предложений, авторегрессивно предсказывая непрерывные эмбеддинги следующих предложений. Мы исследуем две парадигмы эмбеддингов, вдохновленные классическим обучением представлений: 1) семантические эмбеддинги, изучаемые через автоэнкодинг для сохранения поверхностного смысла; и 2) контекстуальные эмбеддинги, обучаемые через предсказание следующего предложения для кодирования предсказательной структуры. Мы оцениваем обе парадигмы в двух режимах вывода: Дискретизированном, где каждый предсказанный эмбеддинг декодируется в текст перед повторным кодированием; и Непрерывном, где рассуждения полностью происходят в пространстве эмбеддингов для повышения эффективности. В четырех областях — математике, логике, здравом смысле и планировании — контекстуальные эмбеддинги в режиме непрерывного вывода демонстрируют конкурентоспособную производительность с Chain-of-Thought (CoT), сокращая при этом количество FLOPs во время вывода в среднем вдвое. Мы также представляем первые признаки масштабируемости и модульной адаптации. Наконец, для визуализации скрытых траекторий мы представляем SentenceLens — диагностический инструмент, который декодирует промежуточные состояния модели в интерпретируемые предложения. В совокупности наши результаты указывают на то, что предобученные LM могут эффективно переходить к абстрактным структурированным рассуждениям в скрытых пространствах эмбеддингов.

English

Autoregressive language models (LMs) generate one token at a time, yet human reasoning operates over higher-level abstractions - sentences, propositions, and concepts. This contrast raises a central question- Can LMs likewise learn to reason over structured semantic units rather than raw token sequences? In this work, we investigate whether pretrained LMs can be lifted into such abstract reasoning spaces by building on their learned representations. We present a framework that adapts a pretrained token-level LM to operate in sentence space by autoregressively predicting continuous embeddings of next sentences. We explore two embedding paradigms inspired by classical representation learning: 1) semantic embeddings, learned via autoencoding to preserve surface meaning; and 2) contextual embeddings, trained via next-sentence prediction to encode anticipatory structure. We evaluate both under two inference regimes: Discretized, which decodes each predicted embedding into text before re-encoding; and Continuous, which reasons entirely in embedding space for improved efficiency. Across four domains - mathematics, logic, commonsense, and planning - contextual embeddings under continuous inference show competitive performance with Chain-of-Thought (CoT) while reducing inference-time FLOPs on average by half. We also present early signs of scalability and modular adaptation. Finally, to visualize latent trajectories, we introduce SentenceLens, a diagnostic tool that decodes intermediate model states into interpretable sentences. Together, our results indicate that pretrained LMs can effectively transition to abstract, structured reasoning within latent embedding spaces.