Zijn We Klaar voor RL in Tekst-naar-3D-generatie? Een Progressief Onderzoek

Samenvatting

Versterkingsleren (RL), eerder al effectief bewezen voor grote taal- en multimodale modellen, is onlangs met succes uitgebreid naar het verbeteren van 2D-beeldgeneratie. Het toepassen van RL op 3D-generatie blijft echter grotendeels onontgonnen gebied vanwege de hogere ruimtelijke complexiteit van 3D-objecten, die een wereldwijd consistente geometrie en fijnmazige lokale texturen vereisen. Dit maakt 3D-generatie aanzienlijk gevoelig voor beloningsontwerpen en RL-algoritmen. Om deze uitdagingen aan te pakken, voeren we de eerste systematische studie uit naar RL voor tekst-naar-3D autoregressieve generatie over verschillende dimensies. (1) Beloningsontwerpen: We evalueren beloningsdimensies en modelkeuzes, en tonen aan dat afstemming met menselijke voorkeuren cruciaal is, en dat algemene multimodale modellen een robuust signaal leveren voor 3D-attributen. (2) RL-algoritmen: We bestuderen GRPO-varianten, belichten de effectiviteit van token-level optimalisatie, en onderzoeken verder de schaalvergroting van trainingsdata en iteraties. (3) Tekst-naar-3D Benchmarks: Aangezien bestaande benchmarks tekortschieten in het meten van impliciete redeneervermogens in 3D-generatiemodellen, introduceren we MME-3DR. (4) Geavanceerde RL-paradigma's: Gemotiveerd door de natuurlijke hiërarchie van 3D-generatie, stellen we Hi-GRPO voor, dat de globaal-naar-lokale hiërarchische 3D-generatie optimaliseert via toegewijde beloningsensembles. Op basis van deze inzichten ontwikkelen we AR3D-R1, het eerste RL-verbeterde tekst-naar-3D model, expert van grove vorm naar textuurverfijning. We hopen dat deze studie inzichten biedt in RL-gestuurd redeneren voor 3D-generatie. Code is vrijgegeven op https://github.com/Ivan-Tang-3D/3DGen-R1.

English

Reinforcement learning (RL), earlier proven to be effective in large language and multi-modal models, has been successfully extended to enhance 2D image generation recently. However, applying RL to 3D generation remains largely unexplored due to the higher spatial complexity of 3D objects, which require globally consistent geometry and fine-grained local textures. This makes 3D generation significantly sensitive to reward designs and RL algorithms. To address these challenges, we conduct the first systematic study of RL for text-to-3D autoregressive generation across several dimensions. (1) Reward designs: We evaluate reward dimensions and model choices, showing that alignment with human preference is crucial, and that general multi-modal models provide robust signal for 3D attributes. (2) RL algorithms: We study GRPO variants, highlighting the effectiveness of token-level optimization, and further investigate the scaling of training data and iterations. (3) Text-to-3D Benchmarks: Since existing benchmarks fail to measure implicit reasoning abilities in 3D generation models, we introduce MME-3DR. (4) Advanced RL paradigms: Motivated by the natural hierarchy of 3D generation, we propose Hi-GRPO, which optimizes the global-to-local hierarchical 3D generation through dedicated reward ensembles. Based on these insights, we develop AR3D-R1, the first RL-enhanced text-to-3D model, expert from coarse shape to texture refinement. We hope this study provides insights into RL-driven reasoning for 3D generation. Code is released at https://github.com/Ivan-Tang-3D/3DGen-R1.

Zijn We Klaar voor RL in Tekst-naar-3D-generatie? Een Progressief Onderzoek

Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation

Samenvatting

Support