Estamos Prontos para o RL na Geração de Texto-para-3D? Uma Investigação Progressiva
Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation
December 11, 2025
Autores: Yiwen Tang, Zoey Guo, Kaixin Zhu, Ray Zhang, Qizhi Chen, Dongzhi Jiang, Junli Liu, Bohan Zeng, Haoming Song, Delin Qu, Tianyi Bai, Dan Xu, Wentao Zhang, Bin Zhao
cs.AI
Resumo
O aprendizado por reforço (RL), anteriormente comprovado como eficaz em modelos de linguagem de grande escala e multimodais, foi recentemente estendido com sucesso para aprimorar a geração de imagens 2D. No entanto, a aplicação de RL à geração 3D permanece amplamente inexplorada devido à maior complexidade espacial dos objetos 3D, que exigem geometria globalmente consistente e texturas locais de granularidade fina. Isso torna a geração 3D significativamente sensível aos projetos de recompensa e aos algoritmos de RL. Para enfrentar esses desafios, realizamos o primeiro estudo sistemático de RL para geração autoregressiva de texto-para-3D em várias dimensões. (1) Projetos de recompensa: Avaliamos dimensões de recompensa e escolhas de modelo, mostrando que o alinhamento com a preferência humana é crucial e que modelos multimodais gerais fornecem um sinal robusto para atributos 3D. (2) Algoritmos de RL: Estudamos variantes do GRPO, destacando a eficácia da otimização em nível de token, e investigamos ainda mais a escalabilidade de dados de treinamento e iterações. (3) *Benchmarks* Texto-para-3D: Uma vez que os *benchmarks* existentes não conseguem medir as habilidades de raciocínio implícito em modelos de geração 3D, nós introduzimos o MME-3DR. (4) Paradigmas avançados de RL: Motivados pela hierarquia natural da geração 3D, propomos o Hi-GRPO, que otimiza a geração hierárquica global-para-local de 3D por meio de conjuntos de recompensa dedicados. Com base nessas percepções, desenvolvemos o AR3D-R1, o primeiro modelo de texto-para-3D aprimorado por RL, especialista desde a forma grosseira até o refinamento de textura. Esperamos que este estudo forneça insights sobre o raciocínio conduzido por RL para geração 3D. O código é disponibilizado em https://github.com/Ivan-Tang-3D/3DGen-R1.
English
Reinforcement learning (RL), earlier proven to be effective in large language and multi-modal models, has been successfully extended to enhance 2D image generation recently. However, applying RL to 3D generation remains largely unexplored due to the higher spatial complexity of 3D objects, which require globally consistent geometry and fine-grained local textures. This makes 3D generation significantly sensitive to reward designs and RL algorithms. To address these challenges, we conduct the first systematic study of RL for text-to-3D autoregressive generation across several dimensions. (1) Reward designs: We evaluate reward dimensions and model choices, showing that alignment with human preference is crucial, and that general multi-modal models provide robust signal for 3D attributes. (2) RL algorithms: We study GRPO variants, highlighting the effectiveness of token-level optimization, and further investigate the scaling of training data and iterations. (3) Text-to-3D Benchmarks: Since existing benchmarks fail to measure implicit reasoning abilities in 3D generation models, we introduce MME-3DR. (4) Advanced RL paradigms: Motivated by the natural hierarchy of 3D generation, we propose Hi-GRPO, which optimizes the global-to-local hierarchical 3D generation through dedicated reward ensembles. Based on these insights, we develop AR3D-R1, the first RL-enhanced text-to-3D model, expert from coarse shape to texture refinement. We hope this study provides insights into RL-driven reasoning for 3D generation. Code is released at https://github.com/Ivan-Tang-3D/3DGen-R1.