Готовы ли мы к применению обучения с подкреплением в генерации 3D-объектов из текста? Постепенное исследование
Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation
December 11, 2025
Авторы: Yiwen Tang, Zoey Guo, Kaixin Zhu, Ray Zhang, Qizhi Chen, Dongzhi Jiang, Junli Liu, Bohan Zeng, Haoming Song, Delin Qu, Tianyi Bai, Dan Xu, Wentao Zhang, Bin Zhao
cs.AI
Аннотация
Подкрепляемое обучение (RL), ранее доказавшее свою эффективность для больших языковых и мультимодальных моделей, недавно было успешно распространено на улучшение генерации 2D-изображений. Однако применение RL к 3D-генерации остаётся в значительной степени неисследованным из-за более высокой пространственной сложности 3D-объектов, которые требуют глобально согласованной геометрии и мелкозернистых локальных текстур. Это делает 3D-генерацию значительно более чувствительной к проектированию функций вознаграждения и алгоритмам RL. Для решения этих проблем мы проводим первое систематическое исследование RL для авторегрессионной генерации 3D-объектов по тексту по нескольким направлениям. (1) *Дизайн вознаграждений*: Мы оцениваем параметры вознаграждения и варианты моделей, показывая, что соответствие человеческим предпочтениям является ключевым, а общие мультимодальные модели обеспечивают надежный сигнал для атрибутов 3D-объектов. (2) *Алгоритмы RL*: Мы изучаем варианты GRPO, подчеркивая эффективность оптимизации на уровне токенов, и дополнительно исследуем масштабирование обучающих данных и итераций. (3) *Бенчмарки для Text-to-3D*: Поскольку существующие бенчмарки не способны измерить способности к неявному логическому выводу в моделях 3D-генерации, мы представляем MME-3DR. (4) *Продвинутые парадигмы RL*: Руководствуясь естественной иерархичностью 3D-генерации, мы предлагаем Hi-GRPO, который оптимизирует иерархическую генерацию от глобального к локальному через специализированные ансамбли вознаграждений. На основе этих результатов мы разрабатываем AR3D-R1 — первую модель для генерации 3D по тексту, улучшенную с помощью RL, которая является экспертом от создания грубой формы до детальной проработки текстур. Мы надеемся, что это исследование даст представление о логическом выводе, управляемом RL, для 3D-генерации. Код доступен по адресу https://github.com/Ivan-Tang-3D/3DGen-R1.
English
Reinforcement learning (RL), earlier proven to be effective in large language and multi-modal models, has been successfully extended to enhance 2D image generation recently. However, applying RL to 3D generation remains largely unexplored due to the higher spatial complexity of 3D objects, which require globally consistent geometry and fine-grained local textures. This makes 3D generation significantly sensitive to reward designs and RL algorithms. To address these challenges, we conduct the first systematic study of RL for text-to-3D autoregressive generation across several dimensions. (1) Reward designs: We evaluate reward dimensions and model choices, showing that alignment with human preference is crucial, and that general multi-modal models provide robust signal for 3D attributes. (2) RL algorithms: We study GRPO variants, highlighting the effectiveness of token-level optimization, and further investigate the scaling of training data and iterations. (3) Text-to-3D Benchmarks: Since existing benchmarks fail to measure implicit reasoning abilities in 3D generation models, we introduce MME-3DR. (4) Advanced RL paradigms: Motivated by the natural hierarchy of 3D generation, we propose Hi-GRPO, which optimizes the global-to-local hierarchical 3D generation through dedicated reward ensembles. Based on these insights, we develop AR3D-R1, the first RL-enhanced text-to-3D model, expert from coarse shape to texture refinement. We hope this study provides insights into RL-driven reasoning for 3D generation. Code is released at https://github.com/Ivan-Tang-3D/3DGen-R1.