PixSDS: 잠재 공간 SDS가 노이즈 픽셀을 생성하는 이유

초록

점수 증류 샘플링(SDS)은 사전 학습된 확산 prior를 이용해 렌더링된 이미지를 최적화함으로써 텍스트-3D 생성을 가능하게 한다. 그러나 잠재(latent) SDS는 종종 구조적 색상 아티팩트와 고주파 텍스처 노이즈를 생성한다. 우리는 VAE로 인한 픽셀 드리프트(pixel drift)가 잠재 SDS의 실패 모드를 유발함을 식별한다. 최적화된 이미지가 VAE 인코더에 의해 약하게 제약된 픽셀 공간 방향으로 이동할 수 있으며, 이 경우 잠재 표현은 깨끗하고 의미론적으로 유의미한 상태를 유지하는 반면 이미지 자체에는 가시적인 아티팩트가 축적된다. 이러한 진단은 통제된 2D SDS 실험, VAE 전용 최적화, 그리고 픽셀로의 역매핑이 과소 제약될 때 인코더와 유사한 잠재 목적 함수가 이미지 공간 노이즈를 증폭할 수 있음을 보여주는 단순화된 분석을 통해 뒷받침된다. 이 관찰에 착안하여, 우리는 확산 모델을 재학습하거나 렌더러를 변경하거나 SDS 목적 함수를 교체하지 않고도 VAE와 일치하지 않는 방향으로의 이동을 줄이는 경량의 VAE와 일관된 기울기 복구 방법인 PixSDS를 제안한다. PixSDS는 잠재 SDS lookahead 단계를 디코딩하고, 디코딩된 이미지를 픽셀 공간 최적화를 위한 깨끗한 방향으로 사용한다. 2D 최적화 및 텍스트-3D 생성 실험은 PixSDS가 의미론적 내용을 보존하면서 구조적 아티팩트를 상당히 줄임을 보여준다. 코드는 https://sevashasla.github.io/pixsds-webpage/에서 공개적으로 이용 가능하다.

English

Score Distillation Sampling (SDS) enables text-to-3D generation by optimizing rendered images with a pretrained diffusion prior, but latent SDS often produces structured color artifacts and high-frequency texture noise. We identify a failure mode of latent SDS caused by VAE-induced pixel drift: the optimized image can move along pixel-space directions that are weakly constrained by the VAE encoder, so its latent representation remains clean and semantically meaningful while the image itself accumulates visible artifacts. We support this diagnosis with controlled 2D SDS experiments, VAE-only optimization, and a simplified analysis showing that encoder-like latent objectives can amplify image-space noise when the inverse mapping to pixels is underconstrained. Motivated by this observation, we propose PixSDS, a lightweight VAE-consistent gradient repair method. PixSDS decodes a latent SDS lookahead step and uses the decoded image as a clean direction for pixel-space optimization, reducing motion in VAE-inconsistent directions without retraining the diffusion model, changing the renderer, or replacing the SDS objective. Experiments in 2D optimization and text-to-3D generation show that PixSDS substantially reduces structured artifacts while preserving semantic content. Code is publicly available at https://sevashasla.github.io/pixsds-webpage/.