3D 형상 생성에서의 암기 현상: 실증적 연구

초록

생성 모델은 3D 비전 분야에서 새로운 형상을 합성하기 위해 점차 널리 사용되고 있으나, 이들의 생성 과정이 훈련 데이터 형상을 단순히 기억하는지 여부는 여전히 명확하지 않습니다. 생성 모델의 기억 현상을 이해하는 것은 훈련 데이터 유출을 방지하고 생성 결과의 다양성을 향상시키는 데 도움이 될 수 있습니다. 본 논문에서는 3D 생성 모델의 기억 현상을 정량적으로 평가하는 프레임워크를 설계하고, 다양한 데이터 및 모델 설계가 기억에 미치는 영향을 연구합니다. 먼저 기존 방법들의 기억 정도를 측정하기 위해 우리의 프레임워크를 적용합니다. 다음으로, 잠재 벡터-집합(Vecset) 확산 모델을 이용한 통제 실험을 통해 데이터 측면에서는 기억이 데이터 양식에 의존하며, 데이터 다양성과 더 세분화된 조건 설정이 증가할수록 기억이 증가함을 확인했습니다. 모델링 측면에서는 기억이 적절한 가이던스 규모에서 최고점에 도달하며, 더 긴 Vecset 사용과 단순 회전 증강을 통해 완화될 수 있음을 발견했습니다. 우리의 프레임워크와 분석은 3D 생성 모델의 기억 현상에 대한 실증적 이해를 제공하며, 생성 품질을 저하시키지 않고 기억을 줄일 수 있는 간단하면서 효과적인 전략을 제안합니다. 코드는 https://github.com/zlab-princeton/3d_mem에서 확인할 수 있습니다.

English

Generative models are increasingly used in 3D vision to synthesize novel shapes, yet it remains unclear whether their generation relies on memorizing training shapes. Understanding their memorization could help prevent training data leakage and improve the diversity of generated results. In this paper, we design an evaluation framework to quantify memorization in 3D generative models and study the influence of different data and modeling designs on memorization. We first apply our framework to quantify memorization in existing methods. Next, through controlled experiments with a latent vector-set (Vecset) diffusion model, we find that, on the data side, memorization depends on data modality, and increases with data diversity and finer-grained conditioning; on the modeling side, it peaks at a moderate guidance scale and can be mitigated by longer Vecsets and simple rotation augmentation. Together, our framework and analysis provide an empirical understanding of memorization in 3D generative models and suggest simple yet effective strategies to reduce it without degrading generation quality. Our code is available at https://github.com/zlab-princeton/3d_mem.

3D 형상 생성에서의 암기 현상: 실증적 연구

Memorization in 3D Shape Generation: An Empirical Study

초록

Support