Мягкие анизотропные диаграммы для дифференцируемого представления изображений

Soft Anisotropic Diagrams for Differentiable Image Representation

April 27, 2026

Авторы: Laki Iinbor, Zhiyang Dou, Wojciech Matusik

cs.AI

Аннотация

Мы представляем Soft Anisotropic Diagrams (SAD) — явное и дифференцируемое представление изображения, параметризованное набором адаптивных сайтов в плоскости изображения. В SAD каждый сайт задает анизотропную метрику и аддитивно взвешенную оценку расстояния, а цвета пикселей вычисляются как softmax-смешение по небольшому локальному (top-K) подмножеству сайтов для каждого пикселя. Мы индуцируем мягкое анизотропное аддитивно взвешенное разбиение Вороного (т.е. диаграмму Аполлония) с обучаемыми температурами для каждого сайта, сохраняя информативные градиенты, обеспечивая четкие, выровненные по содержанию границы и явное владение. Такая формулировка позволяет эффективно выполнять рендеринг за счет поддержания top-K карты для каждого запроса, которая аппроксимирует ближайших соседей в рамках той же оценки затенения, что позволяет проводить удобные для GPU вычисления фиксированного размера. Мы обновляем этот список с помощью нашей схемы top-K распространения, вдохновленной jump flooding, дополненной стохастической инъекцией для обеспечения вероятностного глобального покрытия. Обучение следует GPU-ориентированному конвейеру с градиентно-взвешенной инициализацией, оптимизацией Adam и адаптивным контролем бюджета через уплотнение и прореживание. На стандартных бенчмарках SAD стабильно превосходит Image-GS и Instant-NGP при сопоставимом битрейте. На наборе Kodak SAD достигает 46.0 дБ PSNR при времени кодирования 2.2 с (против 28 с для Image-GS) и обеспечивает ускорение сквозного обучения в 4-19 раз по сравнению с современными базовыми методами. Мы демонстрируем эффективность SAD, показывая бесшовную интеграцию с дифференцируемыми конвейерами для прямых и обратных задач, эффективность быстрого произвольного доступа и компактное хранение.

English

We introduce Soft Anisotropic Diagrams (SAD), an explicit and differentiable image representation parameterized by a set of adaptive sites in the image plane. In SAD, each site specifies an anisotropic metric and an additively weighted distance score, and we compute pixel colors as a softmax blend over a small per-pixel top-K subset of sites. We induce a soft anisotropic additively weighted Voronoi partition (i.e., an Apollonius diagram) with learnable per-site temperatures, preserving informative gradients while allowing clear, content-aligned boundaries and explicit ownership. Such a formulation enables efficient rendering by maintaining a per-query top-K map that approximates nearest neighbors under the same shading score, allowing GPU-friendly, fixed-size local computation. We update this list using our top-K propagation scheme inspired by jump flooding, augmented with stochastic injection to provide probabilistic global coverage. Training follows a GPU-first pipeline with gradient-weighted initialization, Adam optimization, and adaptive budget control through densification and pruning. Across standard benchmarks, SAD consistently outperforms Image-GS and Instant-NGP at matched bitrate. On Kodak, SAD reaches 46.0 dB PSNR with 2.2 s encoding time (vs. 28 s for Image-GS), and delivers 4-19 times end-to-end training speedups over state-of-the-art baselines. We demonstrate the effectiveness of SAD by showcasing the seamless integration with differentiable pipelines for forward and inverse problems, efficiency of fast random access, and compact storage.