AdaSR : Raisonnement Adaptatif en Flux avec Optimisation Hiérarchique Relative de Politique

Résumé

Les grands modèles de raisonnement suivent généralement un paradigme "lire puis penser" : ils observent l'entrée complète, raisonnent sur un contexte statique, puis produisent la réponse. Pourtant, de nombreux scénarios réels sont intrinsèquement dynamiques, comme les flux audio et vidéo, où l'information arrive sous forme d'un flux continu et les modèles doivent raisonner, mettre à jour et répondre sous des observations partielles. Les récentes méthodes de raisonnement en flux permettent aux modèles de penser tout en lisant, mais elles reposent largement sur l'imitation supervisée de trajectoires préconstruites, ce qui limite leur flexibilité. Dans cet article, nous proposons AdaSR, un cadre de raisonnement adaptatif en flux qui permet aux modèles de raisonner pendant l'entrée du flux et d'effectuer une délibération finale une fois le flux terminé, apprenant quand penser et combien de calcul allouer à différentes étapes. Pour optimiser ce processus de raisonnement hiérarchique, nous introduisons l'Optimisation Hiérarchique par Politique Relative (HRPO), qui décompose l'optimisation de la politique en phases de raisonnement en flux et de raisonnement profond, offrant une attribution d'avantage plus fine au lieu de distribuer uniformément un avantage unique au niveau de la séquence sur tous les jetons. HRPO intègre des récompenses de format, de précision et de pensée adaptative pour imposer des protocoles de raisonnement valides, préserver la performance finale de la tâche et encourager une allocation de calcul tenant compte de la latence. Les expériences montrent qu'AdaSR atteint un meilleur équilibre entre précision du raisonnement, efficacité computationnelle et latence de flux par rapport à la ligne de base de l'ajustement fin supervisé. Nous publions notre code à l'adresse https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.

English

Large reasoning models typically follow a read-then-think paradigm: they observe the complete input, reason over a static context, and then produce the answer. Yet many real-world scenarios are inherently dynamic, such as audio and video stream, where information arrives as a continuous stream and models must reason, update, and respond under partial observations. Recent streaming reasoning methods allow models to think while reading, but they largely rely on supervised imitation of pre-constructed trajectories, which limits their flexibility. In this paper, we propose AdaSR, an adaptive streaming reasoning framework that enables models to reason during input streaming and perform final deliberation once the stream is complete, learning when to think, and how much computation to allocate across different stages. To optimize this hierarchical reasoning process, we introduce Hierarchical Relative Policy Optimization (HRPO), which decomposes policy optimization into streaming reasoning and deep reasoning phases, providing more fine-grained advantage assignment instead of uniformly distributing a single sequence-level advantage over all tokens. HRPO integrates format, accuracy, and adaptive thinking rewards to enforce valid reasoning protocols, preserve final task performance, and encourage latency-aware computation allocation. Experiments show that AdaSR achieves a better balance among reasoning accuracy, computational efficiency, and streaming latency compared with supervised fine-tuning baseline. We release our code at https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.