Diagrammes anisotropes souples pour la représentation différentiable d'images

Soft Anisotropic Diagrams for Differentiable Image Representation

April 27, 2026

Auteurs: Laki Iinbor, Zhiyang Dou, Wojciech Matusik

cs.AI

Résumé

Nous introduisons les Diagrammes Anisotropes Doux (SAD), une représentation d'image explicite et différentiable paramétrée par un ensemble de sites adaptatifs dans le plan image. Dans SAD, chaque site spécifie une métrique anisotrope et un score de distance à pondération additive, et nous calculons les couleurs des pixels comme un mélange softmax sur un petit sous-ensemble top-K de sites par pixel. Nous induisons une partition de Voronoi additive anisotrope douce (c'est-à-dire un diagramme d'Apollonius) avec des températures apprenables par site, préservant des gradients informatifs tout en permettant des limites nettes, alignées sur le contenu, et une propriété explicite. Une telle formulation permet un rendu efficace en maintenant une carte top-K par requête qui approxime les plus proches voisins sous le même score d'ombrage, permettant un calcul local de taille fixe adapté au GPU. Nous mettons à jour cette liste en utilisant notre schéma de propagation top-K inspiré du « jump flooding », augmenté par une injection stochastique pour assurer une couverture globale probabiliste. L'apprentissage suit un pipeline optimisé GPU avec une initialisation par gradient, une optimisation Adam, et un contrôle de budget adaptatif via densification et élagage. Sur des benchmarks standards, SAD surpasse systématiquement Image-GS et Instant-NGP à débit binaire équivalent. Sur Kodak, SAD atteint 46,0 dB PSNR avec un temps d'encodage de 2,2 s (contre 28 s pour Image-GS), et offre des accélérations de temps d'apprentissage de bout en bout de 4 à 19 fois par rapport aux meilleures méthodes de référence. Nous démontrons l'efficacité de SAD en mettant en avant son intégration transparente avec des pipelines différentiables pour les problèmes directs et inverses, l'efficacité de l'accès aléatoire rapide et le stockage compact.

English

We introduce Soft Anisotropic Diagrams (SAD), an explicit and differentiable image representation parameterized by a set of adaptive sites in the image plane. In SAD, each site specifies an anisotropic metric and an additively weighted distance score, and we compute pixel colors as a softmax blend over a small per-pixel top-K subset of sites. We induce a soft anisotropic additively weighted Voronoi partition (i.e., an Apollonius diagram) with learnable per-site temperatures, preserving informative gradients while allowing clear, content-aligned boundaries and explicit ownership. Such a formulation enables efficient rendering by maintaining a per-query top-K map that approximates nearest neighbors under the same shading score, allowing GPU-friendly, fixed-size local computation. We update this list using our top-K propagation scheme inspired by jump flooding, augmented with stochastic injection to provide probabilistic global coverage. Training follows a GPU-first pipeline with gradient-weighted initialization, Adam optimization, and adaptive budget control through densification and pruning. Across standard benchmarks, SAD consistently outperforms Image-GS and Instant-NGP at matched bitrate. On Kodak, SAD reaches 46.0 dB PSNR with 2.2 s encoding time (vs. 28 s for Image-GS), and delivers 4-19 times end-to-end training speedups over state-of-the-art baselines. We demonstrate the effectiveness of SAD by showcasing the seamless integration with differentiable pipelines for forward and inverse problems, efficiency of fast random access, and compact storage.