Memorização na Geração de Formas 3D: Um Estudo Empírico
Memorization in 3D Shape Generation: An Empirical Study
December 29, 2025
Autores: Shu Pu, Boya Zeng, Kaichen Zhou, Mengyu Wang, Zhuang Liu
cs.AI
Resumo
Os modelos generativos são cada vez mais utilizados na visão computacional 3D para sintetizar novas formas, mas ainda não está claro se a sua geração depende da memorização das formas de treino. Compreender essa memorização pode ajudar a prevenir a fuga de dados de treino e melhorar a diversidade dos resultados gerados. Neste artigo, projetamos um quadro de avaliação para quantificar a memorização em modelos generativos 3D e estudar a influência de diferentes dados e designs de modelação na memorização. Primeiro, aplicamos o nosso quadro para quantificar a memorização em métodos existentes. Em seguida, através de experiências controladas com um modelo de difusão de vetor-conjunto (Vecset) latente, descobrimos que, no lado dos dados, a memorização depende da modalidade dos dados e aumenta com a diversidade dos dados e com condicionamento mais granular; no lado da modelação, atinge o pico numa escala de orientação moderada e pode ser mitigada por Vecsets mais longos e uma simples aumento de dados por rotação. Em conjunto, o nosso quadro e análise fornecem uma compreensão empírica da memorização em modelos generativos 3D e sugerem estratégias simples mas eficazes para a reduzir sem degradar a qualidade da geração. O nosso código está disponível em https://github.com/zlab-princeton/3d_mem.
English
Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.