AdaSR: Razonamiento de Streaming Adaptativo con Optimización Jerárquica de Políticas Relativas

Resumen

Los modelos de razonamiento a gran escala suelen seguir un paradigma de "leer y luego pensar": observan la entrada completa, razonan sobre un contexto estático y luego producen la respuesta. Sin embargo, muchos escenarios del mundo real son inherentemente dinámicos, como las transmisiones de audio y video, donde la información llega como un flujo continuo y los modelos deben razonar, actualizarse y responder bajo observaciones parciales. Los métodos recientes de razonamiento en flujo permiten que los modelos piensen mientras leen, pero dependen en gran medida de la imitación supervisada de trayectorias preconstruidas, lo que limita su flexibilidad. En este artículo, proponemos AdaSR, un marco de razonamiento adaptativo en flujo que permite a los modelos razonar durante la entrada de flujo y realizar una deliberación final una vez completado el flujo, aprendiendo cuándo pensar y cuánto cómputo asignar en las diferentes etapas. Para optimizar este proceso de razonamiento jerárquico, introducimos la Optimización de Políticas Relativas Jerárquicas (HRPO), que descompone la optimización de políticas en fases de razonamiento en flujo y razonamiento profundo, proporcionando una asignación de ventajas más granular en lugar de distribuir uniformemente una única ventaja a nivel de secuencia sobre todos los tokens. HRPO integra recompensas de formato, precisión y pensamiento adaptativo para imponer protocolos de razonamiento válidos, preservar el rendimiento final de la tarea y fomentar una asignación de cómputo consciente de la latencia. Los experimentos muestran que AdaSR logra un mejor equilibrio entre la precisión del razonamiento, la eficiencia computacional y la latencia del flujo en comparación con la línea base de ajuste fino supervisado. Publicamos nuestro código en https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.

English

Large reasoning models typically follow a read-then-think paradigm: they observe the complete input, reason over a static context, and then produce the answer. Yet many real-world scenarios are inherently dynamic, such as audio and video stream, where information arrives as a continuous stream and models must reason, update, and respond under partial observations. Recent streaming reasoning methods allow models to think while reading, but they largely rely on supervised imitation of pre-constructed trajectories, which limits their flexibility. In this paper, we propose AdaSR, an adaptive streaming reasoning framework that enables models to reason during input streaming and perform final deliberation once the stream is complete, learning when to think, and how much computation to allocate across different stages. To optimize this hierarchical reasoning process, we introduce Hierarchical Relative Policy Optimization (HRPO), which decomposes policy optimization into streaming reasoning and deep reasoning phases, providing more fine-grained advantage assignment instead of uniformly distributing a single sequence-level advantage over all tokens. HRPO integrates format, accuracy, and adaptive thinking rewards to enforce valid reasoning protocols, preserve final task performance, and encourage latency-aware computation allocation. Experiments show that AdaSR achieves a better balance among reasoning accuracy, computational efficiency, and streaming latency compared with supervised fine-tuning baseline. We release our code at https://github.com/EIT-NLP/StreamingLLM/tree/main/AdaSR.