Mémorisation dans la Génération de Formes 3D : Une Étude Empirique
Memorization in 3D Shape Generation: An Empirical Study
December 29, 2025
papers.authors: Shu Pu, Boya Zeng, Kaichen Zhou, Mengyu Wang, Zhuang Liu
cs.AI
papers.abstract
Les modèles génératifs sont de plus en plus utilisés en vision 3D pour synthétiser de nouvelles formes, mais il reste incertain si leur génération repose sur la mémorisation des formes d'entraînement. Comprendre leur mémorisation pourrait aider à prévenir la fuite des données d'entraînement et à améliorer la diversité des résultats générés. Dans cet article, nous concevons un cadre d'évaluation pour quantifier la mémorisation dans les modèles génératifs 3D et étudions l'influence de différentes conceptions de données et de modélisation sur cette mémorisation. Nous appliquons d'abord notre cadre pour quantifier la mémorisation dans les méthodes existantes. Ensuite, grâce à des expériences contrôlées avec un modèle de diffusion à vecteurs latents (Vecset), nous constatons que, côté données, la mémorisation dépend de la modalité des données, et augmente avec la diversité des données et un conditionnement plus fin ; côté modélisation, elle atteint un pic à une échelle de guidage modérée et peut être atténuée par des Vecsets plus longs et une simple augmentation par rotation. Ensemble, notre cadre et notre analyse fournissent une compréhension empirique de la mémorisation dans les modèles génératifs 3D et suggèrent des stratégies simples mais efficaces pour la réduire sans dégrader la qualité de génération. Notre code est disponible à l'adresse https://github.com/zlab-princeton/3d_mem.
English
Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.