AdaSR: Адаптивное потоковое рассуждение с иерархической относительной оптимизацией политики

Аннотация

Крупные модели рассуждений обычно следуют парадигме «сначала чтение, затем размышление»: они наблюдают полный входной сигнал, рассуждают над статическим контекстом и затем выдают ответ. Однако многие реальные сценарии по своей природе являются динамическими, например, аудио- и видеопотоки, где информация поступает в виде непрерывного потока, и модели должны рассуждать, обновлять свои знания и отвечать в условиях частичных наблюдений. Недавние методы потокового рассуждения позволяют моделям размышлять во время чтения, но в значительной степени полагаются на контролируемую имитацию заранее построенных траекторий, что ограничивает их гибкость. В данной статье мы предлагаем AdaSR — адаптивную фреймворку для потокового рассуждения, которая позволяет моделям рассуждать во время поступления входного потока и выполнять окончательное обдумывание после завершения потока, обучаясь тому, когда думать и какой объём вычислений выделять на различных этапах. Для оптимизации этого иерархического процесса рассуждения мы вводим Иерархическую относительную оптимизацию политики (Hierarchical Relative Policy Optimization, HRPO), которая разбивает оптимизацию политики на фазы потокового и глубокого рассуждения, обеспечивая более детальное назначение преимуществ вместо равномерного распределения единого преимущества на уровне последовательности по всем токенам. HRPO объединяет вознаграждения за формат, точность и адаптивное мышление для соблюдения корректных протоколов рассуждения, сохранения конечной производительности по задаче и стимулирования распределения вычислений с учётом задержки. Эксперименты показывают, что AdaSR достигает лучшего баланса между точностью рассуждений, вычислительной эффективностью и задержкой потока по сравнению с базовым методом контролируемой донастройки. Мы публикуем наш код по адресу: https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.

English

Large reasoning models typically follow a read-then-think paradigm: they observe the complete input, reason over a static context, and then produce the answer. Yet many real-world scenarios are inherently dynamic, such as audio and video stream, where information arrives as a continuous stream and models must reason, update, and respond under partial observations. Recent streaming reasoning methods allow models to think while reading, but they largely rely on supervised imitation of pre-constructed trajectories, which limits their flexibility. In this paper, we propose AdaSR, an adaptive streaming reasoning framework that enables models to reason during input streaming and perform final deliberation once the stream is complete, learning when to think, and how much computation to allocate across different stages. To optimize this hierarchical reasoning process, we introduce Hierarchical Relative Policy Optimization (HRPO), which decomposes policy optimization into streaming reasoning and deep reasoning phases, providing more fine-grained advantage assignment instead of uniformly distributing a single sequence-level advantage over all tokens. HRPO integrates format, accuracy, and adaptive thinking rewards to enforce valid reasoning protocols, preserve final task performance, and encourage latency-aware computation allocation. Experiments show that AdaSR achieves a better balance among reasoning accuracy, computational efficiency, and streaming latency compared with supervised fine-tuning baseline. We release our code at https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.