ソフト異方性ダイアグラムによる微分可能な画像表現

要旨

本論文では、画像平面上の適応的なサイト集合によってパラメータ化された明示的かつ微分可能な画像表現であるSoft Anisotropic Diagrams (SAD)を提案する。SADでは、各サイトが異方性メトリックと加法的重み付き距離スコアを定義し、ピクセルごとのトップK個のサイトサブセットに対するソフトマックスブレンドとしてピクセル色を計算する。我々は、サイトごとに学習可能な温度パラメータを持つソフトな異方性加法的重み付きボロノイ分割（すなわちアポロニウス図）を誘導し、情報量豊かな勾配を保持しながら、明確でコンテンツに沿った境界と明示的な所有関係を実現する。この定式化により、同一のシェーディングスコアにおける最近傍を近似するクエリごとのトップKマップを維持することで、GPUフレンドリーで固定サイズの局所計算を可能とし、効率的なレンダリングを実現する。このリストの更新には、ジャンプフラッディングに着想を得たトップK伝播スキームを採用し、確率的な大域カバレッジを提供する確率的注入によって拡張する。トレーニングは、勾配重み付き初期化、Adam最適化、および細密化と剪定による適応的バジェット制御を備えたGPUファーストのパイプラインに従う。標準ベンチマークにおいて、SADは同等のビットレートでImage-GSおよびInstant-NGPを一貫して上回る。Kodakデータセットでは、SADは2.2秒の符号化時間（Image-GSの28秒に対して）で46.0 dB PSNRを達成し、最先端ベースラインと比較して4～19倍のエンドツーエンドトレーニング高速化を実現する。SADの有効性は、順問題および逆問題に対する微分可能パイプラインとのシームレスな統合、高速ランダムアクセスの効率性、コンパクトなストレージによって実証する。

English

We introduce Soft Anisotropic Diagrams (SAD), an explicit and differentiable image representation parameterized by a set of adaptive sites in the image plane. In SAD, each site specifies an anisotropic metric and an additively weighted distance score, and we compute pixel colors as a softmax blend over a small per-pixel top-K subset of sites. We induce a soft anisotropic additively weighted Voronoi partition (i.e., an Apollonius diagram) with learnable per-site temperatures, preserving informative gradients while allowing clear, content-aligned boundaries and explicit ownership. Such a formulation enables efficient rendering by maintaining a per-query top-K map that approximates nearest neighbors under the same shading score, allowing GPU-friendly, fixed-size local computation. We update this list using our top-K propagation scheme inspired by jump flooding, augmented with stochastic injection to provide probabilistic global coverage. Training follows a GPU-first pipeline with gradient-weighted initialization, Adam optimization, and adaptive budget control through densification and pruning. Across standard benchmarks, SAD consistently outperforms Image-GS and Instant-NGP at matched bitrate. On Kodak, SAD reaches 46.0 dB PSNR with 2.2 s encoding time (vs. 28 s for Image-GS), and delivers 4-19 times end-to-end training speedups over state-of-the-art baselines. We demonstrate the effectiveness of SAD by showcasing the seamless integration with differentiable pipelines for forward and inverse problems, efficiency of fast random access, and compact storage.

ソフト異方性ダイアグラムによる微分可能な画像表現

Soft Anisotropic Diagrams for Differentiable Image Representation

要旨

Support