Pensar-enquanto-Gera: Intercalando Raciocínio Textual ao Longo da Geração Visual
Thinking-while-Generating: Interleaving Textual Reasoning throughout Visual Generation
November 20, 2025
Autores: Ziyu Guo, Renrui Zhang, Hongyu Li, Manyuan Zhang, Xinyan Chen, Sifan Wang, Yan Feng, Peng Pei, Pheng-Ann Heng
cs.AI
Resumo
Os avanços recentes na geração visual têm explorado cada vez mais a integração de capacidades de raciocínio. Essas abordagens incorporam raciocínio textual – ou seja, "pensam" – seja antes (como pré-planejamento) ou depois (como pós-refinamento) do processo de geração, mas carecem de interação multimodal em tempo real durante a própria geração. Neste estudo preliminar, introduzimos o Pensar-enquanto-Gera (TwiG), o primeiro framework intercalado que permite a coevolução do raciocínio textual ao longo do processo de geração visual. À medida que o conteúdo visual é gerado progressivamente, o raciocínio textual é intercalado para orientar as próximas regiões locais e refletir sobre as previamente sintetizadas. Esta interação dinâmica produz resultados visuais mais conscientes do contexto e semanticamente mais ricos. Para revelar o potencial deste framework, investigamos três estratégias candidatas: prompting zero-shot, ajuste fino supervisionado (SFT) em nosso conjunto de dados TwiG-50K curado e aprendizagem por reforço (RL) através de uma estratégia personalizada TwiG-GRPO, cada uma oferecendo insights únicos sobre a dinâmica do raciocínio intercalado. Esperamos que este trabalho inspire novas pesquisas sobre a intercalação do raciocínio textual para geração visual aprimorada. O código será disponibilizado em: https://github.com/ZiyuGuo99/Thinking-while-Generating.
English
Recent advances in visual generation have increasingly explored the integration of reasoning capabilities. They incorporate textual reasoning, i.e., think, either before (as pre-planning) or after (as post-refinement) the generation process, yet they lack on-the-fly multimodal interaction during the generation itself. In this preliminary study, we introduce Thinking-while-Generating (TwiG), the first interleaved framework that enables co-evolving textual reasoning throughout the visual generation process. As visual content is progressively generating, textual reasoning is interleaved to both guide upcoming local regions and reflect on previously synthesized ones. This dynamic interplay produces more context-aware and semantically rich visual outputs. To unveil the potential of this framework, we investigate three candidate strategies, zero-shot prompting, supervised fine-tuning (SFT) on our curated TwiG-50K dataset, and reinforcement learning (RL) via a customized TwiG-GRPO strategy, each offering unique insights into the dynamics of interleaved reasoning. We hope this work inspires further research into interleaving textual reasoning for enhanced visual generation. Code will be released at: https://github.com/ZiyuGuo99/Thinking-while-Generating.