PixSDS: なぜ潜在SDSがノイズの多いピクセルを生成するのか

要旨

スコア蒸留サンプリング（SDS）は、事前学習された拡散事前分布を用いてレンダリング画像を最適化することでテキストから3D生成を可能にするが、潜在SDSはしばしば構造的な色アーティファクトや高周波のテクスチャノイズを生じさせる。我々は、VAEによって引き起こされるピクセルドリフトに起因する潜在SDSの失敗モードを特定する。すなわち、最適化された画像は、VAEエンコーダによって弱く制約されるピクセル空間の方向に移動し得るため、その潜在表現はクリーンで意味的に意味のあるままである一方、画像自体には目に見えるアーティファクトが蓄積される。我々は、制御された2D SDS実験、VAEのみの最適化、およびピクセルへの逆写像が制約不足である場合にエンコーダ型の潜在目的関数が画像空間のノイズを増幅し得ることを示す簡略化解析により、この診断を裏付ける。この観察に動機付けられ、我々は軽量なVAE整合的な勾配修復手法であるPixSDSを提案する。PixSDSは、潜在SDSの先読みステップをデコードし、デコードされた画像をピクセル空間最適化のためのクリーンな方向として用いることで、拡散モデルの再学習、レンダラーの変更、またはSDS目的関数の置き換えなしに、VAE非整合な方向への動きを低減する。2D最適化およびテキストから3D生成における実験は、PixSDSが意味内容を保持しつつ構造的なアーティファクトを大幅に低減することを示す。コードはhttps://sevashasla.github.io/pixsds-webpage/で公開されている。

English

Score Distillation Sampling (SDS) enables text-to-3D generation by optimizing rendered images with a pretrained diffusion prior, but latent SDS often produces structured color artifacts and high-frequency texture noise. We identify a failure mode of latent SDS caused by VAE-induced pixel drift: the optimized image can move along pixel-space directions that are weakly constrained by the VAE encoder, so its latent representation remains clean and semantically meaningful while the image itself accumulates visible artifacts. We support this diagnosis with controlled 2D SDS experiments, VAE-only optimization, and a simplified analysis showing that encoder-like latent objectives can amplify image-space noise when the inverse mapping to pixels is underconstrained. Motivated by this observation, we propose PixSDS, a lightweight VAE-consistent gradient repair method. PixSDS decodes a latent SDS lookahead step and uses the decoded image as a clean direction for pixel-space optimization, reducing motion in VAE-inconsistent directions without retraining the diffusion model, changing the renderer, or replacing the SDS objective. Experiments in 2D optimization and text-to-3D generation show that PixSDS substantially reduces structured artifacts while preserving semantic content. Code is publicly available at https://sevashasla.github.io/pixsds-webpage/.