Pensar-mientras-se-genera: Entrelazado del razonamiento textual a lo largo de la generación visual
Thinking-while-Generating: Interleaving Textual Reasoning throughout Visual Generation
November 20, 2025
Autores: Ziyu Guo, Renrui Zhang, Hongyu Li, Manyuan Zhang, Xinyan Chen, Sifan Wang, Yan Feng, Peng Pei, Pheng-Ann Heng
cs.AI
Resumen
Los recientes avances en generación visual han explorado cada vez más la integración de capacidades de razonamiento. Estos métodos incorporan razonamiento textual, es decir, "pensar", ya sea antes (como planificación previa) o después (como refinamiento posterior) del proceso de generación, pero carecen de interacción multimodal en tiempo real durante la propia generación. En este estudio preliminar, presentamos Thinking-while-Generating (TwiG), el primer marco entrelazado que permite la co-evolución del razonamiento textual a lo largo del proceso de generación visual. A medida que el contenido visual se genera progresivamente, el razonamiento textual se entrelaza para guiar las próximas regiones locales y reflexionar sobre las previamente sintetizadas. Esta interacción dinámica produce resultados visuales más conscientes del contexto y semánticamente más ricos. Para desvelar el potencial de este marco, investigamos tres estrategias candidatas: *prompting* de cero disparos, ajuste fino supervisado (SFT) en nuestro conjunto de datos TwiG-50K, y aprendizaje por refuerzo (RL) mediante una estrategia personalizada TwiG-GRPO, cada una ofreciendo perspectivas únicas sobre la dinámica del razonamiento entrelazado. Esperamos que este trabajo inspire futuras investigaciones sobre el entrelazado del razonamiento textual para mejorar la generación visual. El código se liberará en: https://github.com/ZiyuGuo99/Thinking-while-Generating.
English
Recent advances in visual generation have increasingly explored the integration of reasoning capabilities. They incorporate textual reasoning, i.e., think, either before (as pre-planning) or after (as post-refinement) the generation process, yet they lack on-the-fly multimodal interaction during the generation itself. In this preliminary study, we introduce Thinking-while-Generating (TwiG), the first interleaved framework that enables co-evolving textual reasoning throughout the visual generation process. As visual content is progressively generating, textual reasoning is interleaved to both guide upcoming local regions and reflect on previously synthesized ones. This dynamic interplay produces more context-aware and semantically rich visual outputs. To unveil the potential of this framework, we investigate three candidate strategies, zero-shot prompting, supervised fine-tuning (SFT) on our curated TwiG-50K dataset, and reinforcement learning (RL) via a customized TwiG-GRPO strategy, each offering unique insights into the dynamics of interleaved reasoning. We hope this work inspires further research into interleaving textual reasoning for enhanced visual generation. Code will be released at: https://github.com/ZiyuGuo99/Thinking-while-Generating.