Adaptive Hüllen für effizientes Rendering von Neural Radiance Fields

Zusammenfassung

Neurale Strahlungsfelder erreichen eine beispiellose Qualität bei der Synthese neuer Ansichten, aber ihre volumetrische Formulierung bleibt rechenintensiv und erfordert eine enorme Anzahl von Samples, um hochauflösende Bilder zu rendern. Volumetrische Kodierungen sind essenziell, um unscharfe Geometrien wie Laub und Haare darzustellen, und sie eignen sich gut für stochastische Optimierung. Dennoch bestehen viele Szenen letztlich größtenteils aus festen Oberflächen, die mit einem einzigen Sample pro Pixel genau gerendert werden können. Basierend auf dieser Erkenntnis schlagen wir eine neurale Strahlungsformulierung vor, die nahtlos zwischen volumetrischem und oberflächenbasiertem Rendering übergeht, wodurch die Render-Geschwindigkeit erheblich beschleunigt und sogar die visuelle Qualität verbessert wird. Unsere Methode konstruiert ein explizites Mesh-Hüllvolumen, das eine neurale volumetrische Darstellung räumlich begrenzt. In festen Regionen konvergiert das Hüllvolumen nahezu zu einer Oberfläche und kann oft mit einem einzigen Sample gerendert werden. Zu diesem Zweck verallgemeinern wir die NeuS-Formulierung mit einem gelernten, räumlich variablen Kernel, der die Ausbreitung der Dichte kodiert, indem er einen breiten Kernel für volumenähnliche Regionen und einen engen Kernel für oberflächenähnliche Regionen anpasst. Anschließend extrahieren wir ein explizites Mesh eines schmalen Bandes um die Oberfläche, dessen Breite durch die Kernelgröße bestimmt wird, und feinabstimmen das Strahlungsfeld innerhalb dieses Bandes. Zur Inferenzzeit werfen wir Strahlen gegen das Mesh und evaluieren das Strahlungsfeld nur innerhalb des eingeschlossenen Bereichs, wodurch die Anzahl der benötigten Samples erheblich reduziert wird. Experimente zeigen, dass unser Ansatz effizientes Rendering bei sehr hoher Qualität ermöglicht. Wir demonstrieren auch, dass das extrahierte Hüllvolumen nachgelagerte Anwendungen wie Animation und Simulation ermöglicht.

English

Neural radiance fields achieve unprecedented quality for novel view synthesis, but their volumetric formulation remains expensive, requiring a huge number of samples to render high-resolution images. Volumetric encodings are essential to represent fuzzy geometry such as foliage and hair, and they are well-suited for stochastic optimization. Yet, many scenes ultimately consist largely of solid surfaces which can be accurately rendered by a single sample per pixel. Based on this insight, we propose a neural radiance formulation that smoothly transitions between volumetric- and surface-based rendering, greatly accelerating rendering speed and even improving visual fidelity. Our method constructs an explicit mesh envelope which spatially bounds a neural volumetric representation. In solid regions, the envelope nearly converges to a surface and can often be rendered with a single sample. To this end, we generalize the NeuS formulation with a learned spatially-varying kernel size which encodes the spread of the density, fitting a wide kernel to volume-like regions and a tight kernel to surface-like regions. We then extract an explicit mesh of a narrow band around the surface, with width determined by the kernel size, and fine-tune the radiance field within this band. At inference time, we cast rays against the mesh and evaluate the radiance field only within the enclosed region, greatly reducing the number of samples required. Experiments show that our approach enables efficient rendering at very high fidelity. We also demonstrate that the extracted envelope enables downstream applications such as animation and simulation.

Adaptive Hüllen für effizientes Rendering von Neural Radiance Fields

Adaptive Shells for Efficient Neural Radiance Field Rendering

Zusammenfassung

Support