Меморизация в генерации трехмерных форм: эмпирическое исследование

Memorization in 3D Shape Generation: An Empirical Study

December 29, 2025

Авторы: Shu Pu, Boya Zeng, Kaichen Zhou, Mengyu Wang, Zhuang Liu

cs.AI

Аннотация

Генеративные модели все чаще применяются в 3D-компьютерном зрении для синтеза новых форм, однако до сих пор неясно, основан ли их механизм генерации на запоминании обучающих форм. Понимание механизмов запоминания может помочь предотвратить утечку обучающих данных и повысить разнообразие генерируемых результатов. В данной работе мы разрабатываем оценочную методологию для количественного измерения запоминания в 3D-генеративных моделях и исследуем влияние различных параметров данных и архитектурных решений на степень запоминания. Мы применяем нашу методологию для количественной оценки запоминания в существующих методах. Затем в контролируемых экспериментах с диффузионной моделью на латентных векторных наборах (Vecset) мы обнаруживаем, что со стороны данных запоминание зависит от модальности данных и возрастает с увеличением их разнообразия и более детального условного описания; со стороны архитектуры моделей оно достигает пика при умеренных значениях коэффициента направляющего воздействия (guidance scale) и может быть снижено за счет использования более длинных Vecset и простой аугментации вращением. Наша методология и анализ обеспечивают эмпирическое понимание феномена запоминания в 3D-генеративных моделях и предлагают простые, но эффективные стратегии для его уменьшения без ухудшения качества генерации. Наш код доступен по адресу https://github.com/zlab-princeton/3d_mem.

English

Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.