3D形状生成における記憶化：実証的研究

要旨

生成的モデルは3Dビジョンにおいて新規形状の合成にますます利用されているが、その生成が訓練形状の記憶に依存しているかどうかは未解明のままである。記憶メカニズムの理解は、訓練データの漏洩防止と生成結果の多様性向上に寄与しうる。本論文では、3D生成モデルにおける記憶を定量化する評価フレームワークを設計し、異なるデータ・モデリング設計が記憶に与える影響を検証する。まず既存手法の記憶量を本フレームワークで定量化した。次に潜在ベクトル集合（Vecset）拡散モデルを用いた制御実験により、データ側では記憶がデータ様態に依存し、データ多様性と細粒度条件付けで増大すること、モデリング側では適度なガイダンス尺度でピークに達し、長いVecsetと単純な回転データ拡張で軽減できることを明らかにした。本フレームワークと分析は、3D生成モデルの記憶に関する実証的理解を提供し、生成品質を劣化させずに記憶を低減する簡便かつ効果的な戦略を示唆する。コードはhttps://github.com/zlab-princeton/3d_mem で公開している。

English

Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.

3D形状生成における記憶化：実証的研究

Memorization in 3D Shape Generation: An Empirical Study

要旨

Support