バイナリ不透明度グリッド：メッシュベースのビュー合成における微細な幾何学的詳細の捕捉

Binary Opacity Grids: Capturing Fine Geometric Detail for Mesh-Based View Synthesis

February 19, 2024

著者: Christian Reiser, Stephan Garbin, Pratul P. Srinivasan, Dor Verbin, Richard Szeliski, Ben Mildenhall, Jonathan T. Barron, Peter Hedman, Andreas Geiger

cs.AI

要旨

表面ベースのビュー合成アルゴリズムは、その低い計算要件から魅力的であるが、細かい構造の再現に苦戦することが多い。一方、シーンのジオメトリを体積密度場としてモデル化するより高コストな手法（例えばNeRF）は、微細な幾何学的ディテールの再構築に優れている。しかし、密度場はしばしばジオメトリを「ぼやけた」形で表現するため、表面の正確な位置特定が妨げられる。本研究では、密度場を修正し、細かい構造の再構築能力を損なうことなく、表面に向かって収束するよう促す。まず、連続的な密度場ではなく、離散的な不透明度グリッド表現を採用し、不透明度値が表面でゼロから1に不連続に遷移することを可能にする。次に、ピクセルごとに複数のレイを投射することでアンチエイリアシングを行い、半透明ボクセルを使用せずにオクルージョン境界とサブピクセル構造をモデル化する。さらに、不透明度値のバイナリエントロピーを最小化し、訓練の終盤に向けて不透明度値が二値化するよう促すことで、表面ジオメトリの抽出を容易にする。最後に、融合ベースのメッシュ生成戦略を開発し、メッシュの簡素化と外観モデルのフィッティングを行う。我々のモデルが生成するコンパクトなメッシュは、モバイルデバイスでリアルタイムにレンダリング可能であり、既存のメッシュベースのアプローチと比較して、大幅に高いビュー合成品質を達成する。

English

While surface-based view synthesis algorithms are appealing due to their low computational requirements, they often struggle to reproduce thin structures. In contrast, more expensive methods that model the scene's geometry as a volumetric density field (e.g. NeRF) excel at reconstructing fine geometric detail. However, density fields often represent geometry in a "fuzzy" manner, which hinders exact localization of the surface. In this work, we modify density fields to encourage them to converge towards surfaces, without compromising their ability to reconstruct thin structures. First, we employ a discrete opacity grid representation instead of a continuous density field, which allows opacity values to discontinuously transition from zero to one at the surface. Second, we anti-alias by casting multiple rays per pixel, which allows occlusion boundaries and subpixel structures to be modelled without using semi-transparent voxels. Third, we minimize the binary entropy of the opacity values, which facilitates the extraction of surface geometry by encouraging opacity values to binarize towards the end of training. Lastly, we develop a fusion-based meshing strategy followed by mesh simplification and appearance model fitting. The compact meshes produced by our model can be rendered in real-time on mobile devices and achieve significantly higher view synthesis quality compared to existing mesh-based approaches.