Memorización en la Generación de Formas 3D: Un Estudio Empírico
Memorization in 3D Shape Generation: An Empirical Study
December 29, 2025
Autores: Shu Pu, Boya Zeng, Kaichen Zhou, Mengyu Wang, Zhuang Liu
cs.AI
Resumen
Los modelos generativos se utilizan cada vez más en visión 3D para sintetizar formas novedosas, aunque aún no está claro si su generación se basa en memorizar las formas de entrenamiento. Comprender su memorización podría ayudar a prevenir la filtración de datos de entrenamiento y mejorar la diversidad de los resultados generados. En este artículo, diseñamos un marco de evaluación para cuantificar la memorización en modelos generativos 3D y estudiar la influencia de diferentes diseños de datos y modelos en la memorización. Primero aplicamos nuestro marco para cuantificar la memorización en métodos existentes. Luego, mediante experimentos controlados con un modelo de difusión de vectores latentes (Vecset), encontramos que, en cuanto a los datos, la memorización depende de la modalidad de los datos y aumenta con la diversidad de datos y un condicionamiento más granular; en cuanto al modelado, alcanza su punto máximo con una escala de guía moderada y puede mitigarse con Vecsets más largos y una simple aumentación por rotación. En conjunto, nuestro marco y análisis proporcionan una comprensión empírica de la memorización en modelos generativos 3D y sugieren estrategias simples pero efectivas para reducirla sin degradar la calidad de la generación. Nuestro código está disponible en https://github.com/zlab-princeton/3d_mem.
English
Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.