Cuándo Pensar, Cuándo Hablar: Aprendizaje de Políticas de Divulgación para el Razonamiento en LLM
When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning
May 6, 2026
Autores: Jiaqi Wei, Xuehang Guo, Pengfei Yu, Xiang Zhang, Wanli Ouyang, Siqi Sun, Qingyun Wang, Chenyu You
cs.AI
Resumen
En las interfaces autorregresivas de flujo único, los mismos tokens actualizan el estado del modelo y constituyen un compromiso público irreversible. Este acoplamiento crea un impuesto de silencio: la deliberación adicional retrasa el primer contenido relevante para la tarea, mientras que la transmisión temprana e ingenua arriesga compromisos prematuros que sesgan las generaciones posteriores. Presentamos el Razonamiento Intercalado Cara a Cara (SxS), que convierte el momento de la divulgación en una decisión controlable dentro de la generación autorregresiva estándar. SxS intercala divulgaciones parciales con razonamiento privado continuo en el mismo contexto, pero libera contenido solo cuando está respaldado por el razonamiento hasta el momento. Para aprender este ritmo sin incentivar relleno, construimos trayectorias intercaladas alineadas por entailment emparejando prefijos de respuestas con prefijos de razonamiento de apoyo, luego entrenamos con SFT para adquirir la semántica de doble acción y con RL para recuperar el rendimiento del razonamiento bajo el nuevo formato. En dos arquitecturas/escalas de Qwen3 (MoE Qwen3-30B-A3B, denso Qwen3-4B) y benchmarks tanto dentro del dominio (AIME25) como fuera de él (GPQA-Diamond), SxS mejora las compensaciones de Pareto precisión-latencia del contenido bajo proxies a nivel de token, como el tiempo de espera entre actualizaciones.
English
In single-stream autoregressive interfaces, the same tokens both update the model state and constitute an irreversible public commitment. This coupling creates a silence tax: additional deliberation postpones the first task-relevant content, while naive early streaming risks premature commitments that bias subsequent generations. We introduce Side-by-Side (SxS) Interleaved Reasoning, which makes disclosure timing a controllable decision within standard autoregressive generation. SxS interleaves partial disclosures with continued private reasoning in the same context, but releases content only when it is supported by the reasoning so far. To learn such pacing without incentivizing filler, we construct entailment-aligned interleaved trajectories by matching answer prefixes to supporting reasoning prefixes, then train with SFT to acquire the dual-action semantics and RL to recover reasoning performance under the new format. Across two Qwen3 architectures/scales (MoE Qwen3-30B-A3B, dense Qwen3-4B) and both in-domain (AIME25) and out-of-domain (GPQA-Diamond) benchmarks, SxS improves accuracy--content-latency Pareto trade-offs under token-level proxies such as inter-update waiting.