바이너리 불투명도 그리드: 메시 기반 뷰 합성을 위한 미세 기하학적 디테일 캡처

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

저자: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

초록

표면 기반 뷰 합성 알고리즘은 낮은 계산 요구량으로 인해 매력적이지만, 종종 얇은 구조를 재현하는 데 어려움을 겪습니다. 반면, 장면의 기하학을 체적 밀도 필드(예: NeRF)로 모델링하는 더 비용이 많이 드는 방법들은 미세한 기하학적 디테일을 재구성하는 데 탁월합니다. 그러나 밀도 필드는 종종 기하학을 "퍼지"한 방식으로 표현하기 때문에 표면의 정확한 위치 파악을 방해합니다. 본 연구에서는 얇은 구조를 재구성하는 능력을 저해하지 않으면서 밀도 필드가 표면으로 수렴하도록 수정합니다. 첫째, 연속적인 밀도 필드 대신 이산적인 불투명도 그리드 표현을 사용하여 표면에서 불투명도 값이 불연속적으로 0에서 1로 전환되도록 합니다. 둘째, 픽셀당 여러 개의 광선을 투사하여 앨리어싱을 방지함으로써, 반투명 복셀을 사용하지 않고도 폐색 경계와 서브픽셀 구조를 모델링할 수 있습니다. 셋째, 불투명도 값의 이진 엔트로피를 최소화하여 훈련 후반에 불투명도 값이 이진화되도록 유도함으로써 표면 기하학 추출을 용이하게 합니다. 마지막으로, 융합 기반 메싱 전략을 개발한 후 메시 단순화와 외관 모델 피팅을 수행합니다. 우리 모델이 생성한 컴팩트한 메시는 모바일 기기에서 실시간으로 렌더링될 수 있으며, 기존의 메시 기반 접근법에 비해 훨씬 더 높은 뷰 합성 품질을 달성합니다.

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.