Memorizzazione nella Generazione di Forme 3D: Uno Studio Empirico
Memorization in 3D Shape Generation: An Empirical Study
December 29, 2025
Autori: Shu Pu, Boya Zeng, Kaichen Zhou, Mengyu Wang, Zhuang Liu
cs.AI
Abstract
I modelli generativi sono sempre più utilizzati nella visione 3D per sintetizzare nuove forme, ma rimane poco chiaro se la loro generazione si basi sulla memorizzazione delle forme di addestramento. Comprenderne la memorizzazione potrebbe aiutare a prevenire la fuoriuscita dei dati di training e a migliorare la diversità dei risultati generati. In questo articolo, progettiamo un framework di valutazione per quantificare la memorizzazione nei modelli generativi 3D e studiamo l'influenza di diversi dati e progetti di modellazione sulla memorizzazione. Applichiamo innanzitutto il nostro framework per quantificare la memorizzazione nei metodi esistenti. Successivamente, attraverso esperimenti controllati con un modello di diffusione a vettore-set latente (Vecset), scopriamo che, per quanto riguarda i dati, la memorizzazione dipende dalla modalità dei dati e aumenta con la diversità dei dati e un condizionamento più granulare; per quanto riguarda la modellazione, raggiunge il picco con una scala di guida moderata e può essere mitigata da Vecset più lunghi e da una semplice augmentazione rotazionale. Insieme, il nostro framework e la nostra analisi forniscono una comprensione empirica della memorizzazione nei modelli generativi 3D e suggeriscono strategie semplici ma efficaci per ridurla senza degradare la qualità della generazione. Il nostro codice è disponibile all'indirizzo https://github.com/zlab-princeton/3d_mem.
English
Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.