미분 가능 이미지 표현을 위한 연성 이방성 다이어그램

초록

우리는 이미지 평면에 위치한 적응형 사이트 집합으로 매개변수화된 명시적이고 미분 가능한 이미지 표현 방식인 Soft Anisotropic Diagrams(SAD)를 소개한다. SAD에서 각 사이트는 이방성 메트릭과 가중 가법적 거리 점수를 지정하며, 우리는 픽셀별 상위 K개 사이트 부분집합에 대한 소프트맥스 혼합으로 픽셀 색상을 계산한다. 우리는 사이트별 학습 가능한 온도를 갖는 소프트 이방성 가중 가법적 보로노이 분할(즉, 아폴로니우스 도표)을 유도하여 정보성 그래디언트를 보존하면서도 명확하고 콘텐츠에 정렬된 경계와 명시적 소유권을 허용한다. 이러한 구성은 동일한 셰이딩 점수 하에서 최근접 이웃을 근사화하는 쿼리별 상위 K 맵을 유지함으로써 효율적인 렌더링을 가능하게 하며, GPU 친화적인 고정 크기 지역 계산을 허용한다. 우리는 점프 플러딩에서 영감을 받은 상위 K 전파 기법을 사용해 이 목록을 업데이트하며, 확률적 글로벌 커버리지를 제공하기 위해 확률적 주입을 추가로 적용한다. 학습은 그래디언트 가중 초기화, Adam 최적화, 그리고 밀도화 및 가지치기를 통한 적응형 예산 제어를 포함하는 GPU 우선 파이프라인을 따른다. 표준 벤치마크에서 SAD는 동일 비트레이트 조건에서 Image-GS와 Instant-NGP를 지속적으로 능가한다. Kodak 데이터셋에서 SAD는 2.2초의 인코딩 시간(Image-GS의 28초 대비)으로 46.0dB PSNR에 도달하며, 최신 기준선 대비 4-19배의 종단간 학습 속도 향상을 제공한다. 우리는 순방향 및 역방향 문제에 대한 미분 가능 파이프라인과의 원활한 통합, 빠른 무작위 접근의 효율성, 그리고 컴팩트한 저장 능력을 보여줌으로써 SAD의 효과성을 입증한다.

English

We introduce Soft Anisotropic Diagrams (SAD), an explicit and differentiable image representation parameterized by a set of adaptive sites in the image plane. In SAD, each site specifies an anisotropic metric and an additively weighted distance score, and we compute pixel colors as a softmax blend over a small per-pixel top-K subset of sites. We induce a soft anisotropic additively weighted Voronoi partition (i.e., an Apollonius diagram) with learnable per-site temperatures, preserving informative gradients while allowing clear, content-aligned boundaries and explicit ownership. Such a formulation enables efficient rendering by maintaining a per-query top-K map that approximates nearest neighbors under the same shading score, allowing GPU-friendly, fixed-size local computation. We update this list using our top-K propagation scheme inspired by jump flooding, augmented with stochastic injection to provide probabilistic global coverage. Training follows a GPU-first pipeline with gradient-weighted initialization, Adam optimization, and adaptive budget control through densification and pruning. Across standard benchmarks, SAD consistently outperforms Image-GS and Instant-NGP at matched bitrate. On Kodak, SAD reaches 46.0 dB PSNR with 2.2 s encoding time (vs. 28 s for Image-GS), and delivers 4-19 times end-to-end training speedups over state-of-the-art baselines. We demonstrate the effectiveness of SAD by showcasing the seamless integration with differentiable pipelines for forward and inverse problems, efficiency of fast random access, and compact storage.

미분 가능 이미지 표현을 위한 연성 이방성 다이어그램

Soft Anisotropic Diagrams for Differentiable Image Representation

초록

Support