Denken während des Erzeugens: Verflechtung von textueller Argumentation mit visueller Generierung
Thinking-while-Generating: Interleaving Textual Reasoning throughout Visual Generation
November 20, 2025
papers.authors: Ziyu Guo, Renrui Zhang, Hongyu Li, Manyuan Zhang, Xinyan Chen, Sifan Wang, Yan Feng, Peng Pei, Pheng-Ann Heng
cs.AI
papers.abstract
Jüngste Fortschritte in der visuellen Generierung untersuchen zunehmend die Integration von Reasoning-Fähigkeiten. Bisherige Ansätze nutzen textuelles Reasoning – sogenanntes "Denken" – entweder vor (als Vorplanung) oder nach (als Nachverfeinerung) dem Generierungsprozess, doch es fehlt an multimodaler Interaktion in Echtzeit während der Erzeugung selbst. In dieser Vorstudie stellen wir Thinking-while-Generating (TwiG) vor, das erste verzahnte Framework, das textuelles Reasoning und visuelle Generierung simultan koevolvieren lässt. Während visuelle Inhalte schrittweise erzeugt werden, wird textuelles Reasoning eingebettet, um sowohl kommende Bildregionen zu steuern als auch bereits synthetisierte zu reflektieren. Dieses dynamische Wechselspiel erzeugt kontextbewusstere und semantisch reichhaltigere visuelle Ergebnisse. Um das Potenzial dieses Frameworks auszuloten, untersuchen wir drei Strategien: Zero-Shot-Prompting, überwachtes Feintuning (SFT) auf unserem kuratierten TwiG-50K-Datensatz sowie Verstärkendes Lernen (RL) via einer maßgeschneiderten TwiG-GRPO-Strategie, die jeweils einzigartige Einblicke in die Dynamik verzahnten Reasonings bieten. Wir hoffen, dass diese Arbeit weitere Forschung zur Verzahnung von textuellem Reasoning für verbesserte visuelle Generierung anregt. Code wird verfügbar sein unter: https://github.com/ZiyuGuo99/Thinking-while-Generating.
English
Recent advances in visual generation have increasingly explored the integration of reasoning capabilities. They incorporate textual reasoning, i.e., think, either before (as pre-planning) or after (as post-refinement) the generation process, yet they lack on-the-fly multimodal interaction during the generation itself. In this preliminary study, we introduce Thinking-while-Generating (TwiG), the first interleaved framework that enables co-evolving textual reasoning throughout the visual generation process. As visual content is progressively generating, textual reasoning is interleaved to both guide upcoming local regions and reflect on previously synthesized ones. This dynamic interplay produces more context-aware and semantically rich visual outputs. To unveil the potential of this framework, we investigate three candidate strategies, zero-shot prompting, supervised fine-tuning (SFT) on our curated TwiG-50K dataset, and reinforcement learning (RL) via a customized TwiG-GRPO strategy, each offering unique insights into the dynamics of interleaved reasoning. We hope this work inspires further research into interleaving textual reasoning for enhanced visual generation. Code will be released at: https://github.com/ZiyuGuo99/Thinking-while-Generating.