Diagramas Anisotrópicos Suaves para Representación Diferenciable de Imágenes

Soft Anisotropic Diagrams for Differentiable Image Representation

April 27, 2026

Autores: Laki Iinbor, Zhiyang Dou, Wojciech Matusik

cs.AI

Resumen

Introducimos los Diagramas Anisotrópicos Suaves (SAD, por sus siglas en inglés), una representación de imagen explícita y diferenciable parametrizada por un conjunto de sitios adaptativos en el plano de la imagen. En SAD, cada sitio especifica una métrica anisotrópica y una puntuación de distancia con pesos aditivos, y calculamos los colores de los píxeles como una combinación softmax sobre un pequeño subconjunto top-K de sitios por píxel. Inducimos una partición de Voronoi anisotrópica suave con pesos aditivos (es decir, un diagrama de Apolonio) con temperaturas aprendibles por sitio, preservando gradientes informativos mientras permitimos límites nítidos, alineados con el contenido, y una pertenencia explícita. Dicha formulación permite un renderizado eficiente mediante el mantenimiento de un mapa top-K por consulta que aproxima los vecinos más cercanos bajo la misma puntuación de sombreado, permitiendo un cálculo local de tamaño fijo optimizado para GPU. Actualizamos esta lista utilizando nuestro esquema de propagación top-K inspirado en la inundación por saltos (jump flooding), aumentado con inyección estocástica para proporcionar una cobertura global probabilística. El entrenamiento sigue una canalización priorizada para GPU con inicialización ponderada por gradientes, optimización con Adam, y control de presupuesto adaptativo mediante densificación y poda. En benchmarks estándar, SAD supera consistentemente a Image-GS e Instant-NGP con la misma tasa de bits. En Kodak, SAD alcanza 46.0 dB PSNR con un tiempo de codificación de 2.2 s (frente a 28 s de Image-GS), y ofrece aceleraciones de entrenamiento de extremo a extremo de 4 a 19 veces sobre las líneas base más avanzadas. Demostramos la efectividad de SAD mostrando la integración perfecta con canalizaciones diferenciables para problemas directos e inversos, la eficiencia del acceso aleatorio rápido y el almacenamiento compacto.

English

We introduce Soft Anisotropic Diagrams (SAD), an explicit and differentiable image representation parameterized by a set of adaptive sites in the image plane. In SAD, each site specifies an anisotropic metric and an additively weighted distance score, and we compute pixel colors as a softmax blend over a small per-pixel top-K subset of sites. We induce a soft anisotropic additively weighted Voronoi partition (i.e., an Apollonius diagram) with learnable per-site temperatures, preserving informative gradients while allowing clear, content-aligned boundaries and explicit ownership. Such a formulation enables efficient rendering by maintaining a per-query top-K map that approximates nearest neighbors under the same shading score, allowing GPU-friendly, fixed-size local computation. We update this list using our top-K propagation scheme inspired by jump flooding, augmented with stochastic injection to provide probabilistic global coverage. Training follows a GPU-first pipeline with gradient-weighted initialization, Adam optimization, and adaptive budget control through densification and pruning. Across standard benchmarks, SAD consistently outperforms Image-GS and Instant-NGP at matched bitrate. On Kodak, SAD reaches 46.0 dB PSNR with 2.2 s encoding time (vs. 28 s for Image-GS), and delivers 4-19 times end-to-end training speedups over state-of-the-art baselines. We demonstrate the effectiveness of SAD by showcasing the seamless integration with differentiable pipelines for forward and inverse problems, efficiency of fast random access, and compact storage.