DreamDPO: 人間の好みに従ったテキストから3D生成を直接的な好み最適化によって整合させる

DreamDPO: Aligning Text-to-3D Generation with Human Preferences via Direct Preference Optimization

February 5, 2025

著者: Zhenglin Zhou, Xiaobo Xia, Fan Ma, Hehe Fan, Yi Yang, Tat-Seng Chua

cs.AI

要旨

テキストから3D生成は、テキスト記述から3Dコンテンツの作成を自動化し、さまざまな分野で革新的な可能性を提供します。しかし、既存の手法はしばしば生成されたコンテンツを人間の好みに合わせるのに苦労し、その適用範囲や柔軟性が制限されることがあります。本論文では、これらの制限に対処するために、人間の好みを3D生成プロセスに統合する最適化ベースのフレームワークであるDreamDPOを提案します。具体的には、DreamDPOはまずペアワイズの例を構築し、次に報酬または大規模な多様なモデルを使用してそれらが人間の好みとどの程度一致しているかを比較し、最後に好みに基づいた損失関数で3D表現を最適化します。ペアワイズ比較を活用して好みを反映することで、DreamDPOは点ごとの質の評価に依存することを減らし、好みに基づいた最適化を通じて細かい制御が可能となります。実験では、DreamDPOが競争力のある結果を達成し、既存の手法と比較してより高品質でコントロール可能な3Dコンテンツを提供することが示されています。コードとモデルはオープンソースで公開されます。

English

Text-to-3D generation automates 3D content creation from textual descriptions, which offers transformative potential across various fields. However, existing methods often struggle to align generated content with human preferences, limiting their applicability and flexibility. To address these limitations, in this paper, we propose DreamDPO, an optimization-based framework that integrates human preferences into the 3D generation process, through direct preference optimization. Practically, DreamDPO first constructs pairwise examples, then compare their alignment with human preferences using reward or large multimodal models, and lastly optimizes the 3D representation with a preference-driven loss function. By leveraging pairwise comparison to reflect preferences, DreamDPO reduces reliance on precise pointwise quality evaluations while enabling fine-grained controllability through preference-guided optimization. Experiments demonstrate that DreamDPO achieves competitive results, and provides higher-quality and more controllable 3D content compared to existing methods. The code and models will be open-sourced.