Flexible Isosurfacenextraktion für gradientenbasierte Mesh-Optimierung

Flexible Isosurface Extraction for Gradient-Based Mesh Optimization

August 10, 2023

Autoren: Tianchang Shen, Jacob Munkberg, Jon Hasselgren, Kangxue Yin, Zian Wang, Wenzheng Chen, Zan Gojcic, Sanja Fidler, Nicholas Sharp, Jun Gao

cs.AI

Zusammenfassung

Diese Arbeit befasst sich mit gradientenbasierter Netzoptimierung, bei der wir iterativ ein 3D-Oberflächennetz optimieren, indem wir es als Isofläche eines Skalarfelds darstellen – ein zunehmend verbreitetes Paradigma in Anwendungen wie Photogrammetrie, generativer Modellierung und inverser Physik. Bestehende Implementierungen adaptieren klassische Isoflächenextraktionsalgorithmen wie Marching Cubes oder Dual Contouring; diese Techniken wurden entwickelt, um Netze aus festen, bekannten Feldern zu extrahieren, und im Optimierungskontext fehlen ihnen die Freiheitsgrade, um hochwertige, merkmalerhaltende Netze darzustellen, oder sie leiden unter numerischen Instabilitäten. Wir stellen FlexiCubes vor, eine Isoflächendarstellung, die speziell für die Optimierung eines unbekannten Netzes in Bezug auf geometrische, visuelle oder sogar physikalische Ziele entwickelt wurde. Unsere zentrale Erkenntnis besteht darin, zusätzliche sorgfältig ausgewählte Parameter in die Darstellung einzuführen, die lokale flexible Anpassungen an die extrahierte Netzgeometrie und -konnektivität ermöglichen. Diese Parameter werden zusammen mit dem zugrunde liegenden Skalarfeld über automatische Differenzierung aktualisiert, wenn eine nachgelagerte Aufgabe optimiert wird. Wir basieren unser Extraktionsschema auf Dual Marching Cubes, um verbesserte topologische Eigenschaften zu erreichen, und präsentieren Erweiterungen, um optional tetraedrische und hierarchisch-adaptive Netze zu erzeugen. Umfangreiche Experimente validieren FlexiCubes sowohl an synthetischen Benchmarks als auch in realen Anwendungen und zeigen, dass es signifikante Verbesserungen in der Netzqualität und geometrischen Treue bietet.

English

This work considers gradient-based mesh optimization, where we iteratively optimize for a 3D surface mesh by representing it as the isosurface of a scalar field, an increasingly common paradigm in applications including photogrammetry, generative modeling, and inverse physics. Existing implementations adapt classic isosurface extraction algorithms like Marching Cubes or Dual Contouring; these techniques were designed to extract meshes from fixed, known fields, and in the optimization setting they lack the degrees of freedom to represent high-quality feature-preserving meshes, or suffer from numerical instabilities. We introduce FlexiCubes, an isosurface representation specifically designed for optimizing an unknown mesh with respect to geometric, visual, or even physical objectives. Our main insight is to introduce additional carefully-chosen parameters into the representation, which allow local flexible adjustments to the extracted mesh geometry and connectivity. These parameters are updated along with the underlying scalar field via automatic differentiation when optimizing for a downstream task. We base our extraction scheme on Dual Marching Cubes for improved topological properties, and present extensions to optionally generate tetrahedral and hierarchically-adaptive meshes. Extensive experiments validate FlexiCubes on both synthetic benchmarks and real-world applications, showing that it offers significant improvements in mesh quality and geometric fidelity.