AdaSR: Adaptieve Streaming Redenering met Hiërarchische Relatieve Beleidsoptimalisatie

Samenvatting

Grote redeneermodellen volgen doorgaans een lees-dan-denk-paradigma: ze nemen de volledige invoer waar, redeneren over een statische context en produceren vervolgens het antwoord. Toch zijn veel scenario's in de echte wereld inherent dynamisch, zoals audio- en videostreams, waar informatie als een continue stroom aankomt en modellen moeten redeneren, bijwerken en reageren onder gedeeltelijke waarnemingen. Recente methoden voor streamredeneren stellen modellen in staat te denken tijdens het lezen, maar ze steunen grotendeels op gesuperviseerde imitatie van vooraf geconstrueerde trajecten, wat hun flexibiliteit beperkt. In dit artikel stellen we AdaSR voor, een adaptief raamwerk voor streamredeneren dat modellen in staat stelt te redeneren tijdens het invoerstreamen en aan het einde van de stroom een definitieve overweging uit te voeren, terwijl ze leren wanneer te denken en hoeveel rekenkracht ze over verschillende fasen moeten toewijzen. Om dit hiërarchische redeneerproces te optimaliseren, introduceren we Hiërarchische Relatieve Beleidsoptimalisatie (HRPO), die beleidsoptimalisatie opsplitst in fasen van streamredeneren en diep redeneren, wat een meer gedetailleerde toewijzing van voordeel biedt in plaats van een uniforme verdeling van één enkel sequentieniveau-voordeel over alle tokens. HRPO integreert beloningen voor formaat, nauwkeurigheid en adaptief denken om geldige redeneerprotocollen af te dwingen, de uiteindelijke taakprestatie te behouden en latentiebewuste rekentoewijzing te stimuleren. Experimenten tonen aan dat AdaSR een betere balans bereikt tussen redeneernauwkeurigheid, computationele efficiëntie en streamlatentie in vergelijking met de basislijn van gesuperviseerde finetuning. We maken onze code beschikbaar op https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.

English

Large reasoning models typically follow a read-then-think paradigm: they observe the complete input, reason over a static context, and then produce the answer. Yet many real-world scenarios are inherently dynamic, such as audio and video stream, where information arrives as a continuous stream and models must reason, update, and respond under partial observations. Recent streaming reasoning methods allow models to think while reading, but they largely rely on supervised imitation of pre-constructed trajectories, which limits their flexibility. In this paper, we propose AdaSR, an adaptive streaming reasoning framework that enables models to reason during input streaming and perform final deliberation once the stream is complete, learning when to think, and how much computation to allocate across different stages. To optimize this hierarchical reasoning process, we introduce Hierarchical Relative Policy Optimization (HRPO), which decomposes policy optimization into streaming reasoning and deep reasoning phases, providing more fine-grained advantage assignment instead of uniformly distributing a single sequence-level advantage over all tokens. HRPO integrates format, accuracy, and adaptive thinking rewards to enforce valid reasoning protocols, preserve final task performance, and encourage latency-aware computation allocation. Experiments show that AdaSR achieves a better balance among reasoning accuracy, computational efficiency, and streaming latency compared with supervised fine-tuning baseline. We release our code at https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.