Zachte anisotrope diagrammen voor differentieerbare beeldrepresentatie

Soft Anisotropic Diagrams for Differentiable Image Representation

April 27, 2026

Auteurs: Laki Iinbor, Zhiyang Dou, Wojciech Matusik

cs.AI

Samenvatting

Wij introduceren Soft Anisotrope Diagrammen (SAD), een expliciete en differentieerbare beeldrepresentatie geparameteriseerd door een set adaptieve locaties in het beeldvlak. In SAD specificeert elke locatie een anisotrope metriek en een additief gewogen afstandsscore, en wij berekenen pixelkleuren als een softmax-mengsel over een kleine per-pixel top-K subset van locaties. Wij induceren een zacht anisotroop additief gewogen Voronoi-diagram (een Apollonius-diagram) met leerbare temperatuurwaarden per locatie, waardoor informatieve gradiënten behouden blijven terwijl duidelijke, inhoudsuitgelijnde grenzen en expliciete 'eigenaarschap' mogelijk zijn. Een dergelijke formulering maakt efficiënte rendering mogelijk door het bijhouden van een per-query top-K kaart die de dichtstbijzijnde buren benadert onder dezelfde belichtingsscore, wat GPU-vriendelijke, lokale berekeningen met vaste grootte toelaat. Wij updaten deze lijst met behulp van ons top-K propagatieschema, geïnspireerd door jump flooding, aangevuld met stochastische injectie om probabilistische globale dekking te bieden. De training volgt een GPU-first pijplijn met gradiënt-gewogen initialisatie, Adam-optimalisatie en adaptieve budgetcontrole via verdichting en uitdunning. Op standaard benchmarks presteert SAD consistent beter dan Image-GS en Instant-NGP bij gelijke bitsnelheid. Op Kodak bereikt SAD 46.0 dB PSNR met een encoderingstijd van 2.2 s (versus 28 s voor Image-GS), en levert het 4-19 keer end-to-end trainingsversnelling op ten opzichte van state-of-the-art baseline-methoden. Wij demonstreren de effectiviteit van SAD door de naadloze integratie met differentieerbare pijplijnen voor forward en inverse problemen, de efficiëntie van snelle willekeurige toegang, en compacte opslag te tonen.

English

We introduce Soft Anisotropic Diagrams (SAD), an explicit and differentiable image representation parameterized by a set of adaptive sites in the image plane. In SAD, each site specifies an anisotropic metric and an additively weighted distance score, and we compute pixel colors as a softmax blend over a small per-pixel top-K subset of sites. We induce a soft anisotropic additively weighted Voronoi partition (i.e., an Apollonius diagram) with learnable per-site temperatures, preserving informative gradients while allowing clear, content-aligned boundaries and explicit ownership. Such a formulation enables efficient rendering by maintaining a per-query top-K map that approximates nearest neighbors under the same shading score, allowing GPU-friendly, fixed-size local computation. We update this list using our top-K propagation scheme inspired by jump flooding, augmented with stochastic injection to provide probabilistic global coverage. Training follows a GPU-first pipeline with gradient-weighted initialization, Adam optimization, and adaptive budget control through densification and pruning. Across standard benchmarks, SAD consistently outperforms Image-GS and Instant-NGP at matched bitrate. On Kodak, SAD reaches 46.0 dB PSNR with 2.2 s encoding time (vs. 28 s for Image-GS), and delivers 4-19 times end-to-end training speedups over state-of-the-art baselines. We demonstrate the effectiveness of SAD by showcasing the seamless integration with differentiable pipelines for forward and inverse problems, efficiency of fast random access, and compact storage.