Wann zu denken, wann zu sprechen: Das Erlernen von Offenlegungsrichtlinien für das Reasoning von LLMs

When to Think, When to Speak: Learning Disclosure Policies for LLM Reasoning

May 6, 2026

Autoren: Jiaqi Wei, Xuehang Guo, Pengfei Yu, Xiang Zhang, Wanli Ouyang, Siqi Sun, Qingyun Wang, Chenyu You

cs.AI

Zusammenfassung

In Single-Stream-Autoregressiven-Schnittstellen dienen dieselben Tokens sowohl zur Aktualisierung des Modellzustands als auch als unwiderrufliche öffentliche Festlegung. Diese Kopplung erzeugt eine Art Schweigesteuer: zusätzliches Abwägen verzögert die ersten aufgabenrelevanten Inhalte, während naives frühes Streamen das Risiko voreiliger Festlegungen birgt, die nachfolgende Generationen verzerren. Wir führen nebeneinander angeordnetes (Side-by-Side, SxS) verschachteltes Schließen ein, das den Zeitpunkt der Veröffentlichung zu einer kontrollierbaren Entscheidung innerhalb der standardmäßigen autoregressiven Generierung macht. SxS verschachtelt teilweise Veröffentlichungen mit fortgesetztem privatem Schließen im gleichen Kontext, gibt Inhalte jedoch erst frei, wenn sie durch das bisherige Schließen gestützt werden. Um eine solche Taktung zu erlernen, ohne Füllmaterial zu belohnen, konstruieren wir implikationsausgerichtete verschachtelte Verläufe, indem wir Antwortpräfixe mit unterstützenden Schlussfolgerungspräfixen abgleichen, und trainieren dann mit SFT, um die Dual-Action-Semantik zu erwerben, und mit RL, um die Schlussfolgerungsleistung im neuen Format wiederherzustellen. Über zwei Qwen3-Architekturen/Skalierungen (MoE Qwen3-30B-A3B, dense Qwen3-4B) sowie sowohl domäneninterne (AIME25) als auch domänenfremde (GPQA-Diamond) Benchmarks hinweg verbessert SxS die Pareto-Kompromisse zwischen Genauigkeit, Inhaltslatenz und Token-Level-Proxys wie der Wartezeit zwischen Updates.

English

In single-stream autoregressive interfaces, the same tokens both update the model state and constitute an irreversible public commitment. This coupling creates a silence tax: additional deliberation postpones the first task-relevant content, while naive early streaming risks premature commitments that bias subsequent generations. We introduce Side-by-Side (SxS) Interleaved Reasoning, which makes disclosure timing a controllable decision within standard autoregressive generation. SxS interleaves partial disclosures with continued private reasoning in the same context, but releases content only when it is supported by the reasoning so far. To learn such pacing without incentivizing filler, we construct entailment-aligned interleaved trajectories by matching answer prefixes to supporting reasoning prefixes, then train with SFT to acquire the dual-action semantics and RL to recover reasoning performance under the new format. Across two Qwen3 architectures/scales (MoE Qwen3-30B-A3B, dense Qwen3-4B) and both in-domain (AIME25) and out-of-domain (GPQA-Diamond) benchmarks, SxS improves accuracy--content-latency Pareto trade-offs under token-level proxies such as inter-update waiting.