Weiche anisotrope Diagramme für differenzierbare Bilddarstellung

Soft Anisotropic Diagrams for Differentiable Image Representation

April 27, 2026

Autoren: Laki Iinbor, Zhiyang Dou, Wojciech Matusik

cs.AI

Zusammenfassung

Wir stellen Soft Anisotropic Diagrams (SAD) vor, eine explizite und differenzierbare Bildrepräsentation, die durch eine Menge adaptiver Punkte (Sites) in der Bildebene parametrisiert wird. In SAD spezifiziert jeder Punkt eine anisotrope Metrik und einen additiv gewichteten Abstandswert, und wir berechnen Pixel Farben als Softmax-Überblendung über eine kleine, pro Pixel ausgewählte Top-K-Teilmenge der Punkte. Wir induzieren eine weiche, anisotrope, additiv gewichtete Voronoi-Zerlegung (d.h. ein Apollonius-Diagramm) mit lernbaren Temperaturen pro Punkt, die informative Gradienten erhält und gleichzeitig klare, inhaltsausgerichtete Grenzen und explizite Zugehörigkeit ermöglicht. Eine solche Formulierung ermöglicht effizientes Rendering, indem eine pro-Abfrage Top-K-Map verwaltet wird, die die nächsten Nachbarn unter dem gleichen Schattierungswert annähert, was GPU-freundliche Berechnungen mit fester Größe erlaubt. Wir aktualisieren diese Liste mittels unseres Top-K-Propagationsschemas, das von Jump Flooding inspiriert ist und durch stochastische Injektion erweitert wird, um eine probabilistische globale Abdeckung zu gewährleisten. Das Training folgt einer GPU-zentrierten Pipeline mit gradientengewichteter Initialisierung, Adam-Optimierung und adaptiver Budgetkontrolle durch Verdichtung und Ausdünnung. In Standard-Benchmarks übertrifft SAD durchgängig Image-GS und Instant-NGP bei gleicher Bitrate. Auf Kodak erreicht SAD 46,0 dB PSNR mit 2,2 s Encodierzeit (gegenüber 28 s für Image-GS) und erzielt 4-19 mal schnellere End-to-End-Trainingszeiten gegenüber state-of-the-art Baselines. Wir demonstrieren die Wirksamkeit von SAD, indem wir die nahtlose Integration in differenzierbare Pipelines für Vorwärts- und Inverse-Probleme, die Effizienz des schnellen Direktzugriffs und die kompakte Speicherung aufzeigen.

English

We introduce Soft Anisotropic Diagrams (SAD), an explicit and differentiable image representation parameterized by a set of adaptive sites in the image plane. In SAD, each site specifies an anisotropic metric and an additively weighted distance score, and we compute pixel colors as a softmax blend over a small per-pixel top-K subset of sites. We induce a soft anisotropic additively weighted Voronoi partition (i.e., an Apollonius diagram) with learnable per-site temperatures, preserving informative gradients while allowing clear, content-aligned boundaries and explicit ownership. Such a formulation enables efficient rendering by maintaining a per-query top-K map that approximates nearest neighbors under the same shading score, allowing GPU-friendly, fixed-size local computation. We update this list using our top-K propagation scheme inspired by jump flooding, augmented with stochastic injection to provide probabilistic global coverage. Training follows a GPU-first pipeline with gradient-weighted initialization, Adam optimization, and adaptive budget control through densification and pruning. Across standard benchmarks, SAD consistently outperforms Image-GS and Instant-NGP at matched bitrate. On Kodak, SAD reaches 46.0 dB PSNR with 2.2 s encoding time (vs. 28 s for Image-GS), and delivers 4-19 times end-to-end training speedups over state-of-the-art baselines. We demonstrate the effectiveness of SAD by showcasing the seamless integration with differentiable pipelines for forward and inverse problems, efficiency of fast random access, and compact storage.