Memorisatie in 3D-vormgeneratie: een empirische studie
Memorization in 3D Shape Generation: An Empirical Study
December 29, 2025
Auteurs: Shu Pu, Boya Zeng, Kaichen Zhou, Mengyu Wang, Zhuang Liu
cs.AI
Samenvatting
Generatieve modellen worden steeds vaker gebruikt in 3D-visie om nieuwe vormen te synthetiseren, maar het blijft onduidelijk of hun generatie berust op het memoriseren van trainingsvormen. Inzicht in hun memorisatie zou kunnen helpen om het lekken van trainingsdata te voorkomen en de diversiteit van gegenereerde resultaten te verbeteren. In dit artikel ontwerpen we een evaluatieraamwerk om memorisatie in 3D-generatieve modellen te kwantificeren en bestuderen we de invloed van verschillende data- en modelontwerpen op memorisatie. We passen eerst ons raamwerk toe om memorisatie in bestaande methoden te kwantificeren. Vervolgens ontdekken we via gecontroleerde experimenten met een latent vector-set (Vecset) diffusiemodel dat memorisatie aan de data-kant afhangt van de datamodaliteit, en toeneemt met data-diversiteit en fijnmazigere conditionering; aan de model-kant bereikt het een piek bij een matige guidance-schaal en kan het worden verminderd door langere Vecsets en eenvoudige rotatie-augmentatie. Samen bieden ons raamwerk en onze analyse een empirisch inzicht in memorisatie in 3D-generatieve modellen en suggereren ze eenvoudige maar effectieve strategieën om deze te verminderen zonder de generatiekwaliteit aan te tasten. Onze code is beschikbaar op https://github.com/zlab-princeton/3d_mem.
English
Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.