NoPA: Nicht-parametrische Online-3D-Szenengraph-Generierung

Zusammenfassung

Klassische Ansätze zur Generierung von 3D-Szenengraphen sind nicht in der Lage, in Echtzeit zu arbeiten, da die Umgebungskartierung rechenintensiv ist und zudem die Erzeugung von Punktwolken als Zwischenrepräsentation erforderlich ist. Um dieses Problem zu entschärfen, verzichtet eine aktuelle Arbeit auf Punktwolken und verwendet stattdessen eine leichtgewichtige Gaußverteilung für jedes Objekt. Diese Näherung beschleunigt die Inferenz drastisch und ermöglicht eine Echtzeit-Generierung von 3D-Szenengraphen. Allerdings weist die Repräsentation zwei entscheidende Schwächen auf: 1) Jedes Objekt wird durch eine einzige 3D-Gaußverteilung angenähert, was zu einem erheblichen Verlust an 3D-Geometriedetails führt. 2) Die Diskrepanz zwischen dieser Näherung und der tatsächlichen Objektgeometrie verschärft das Problem der fehlerhaften Zusammenführung von Objektkandidaten während der Online-Inferenz. Um diese Probleme zu beheben, schlagen wir NoPA vor, das jedes Objekt als separate nicht-parametrische Verteilung repräsentiert. Diese Formulierung bewahrt die 3D-Geometrieinformationen und erhält gleichzeitig die Echtzeit-Inferenz der parametrischen Gaußformulierung. Aufbauend auf unserer neuartigen Objektrepräsentation schlagen wir eine maßgeschneiderte Zusammenführungsstrategie vor, um kohärente Objektinstanzen zu rekonstruieren. Insbesondere nutzen wir die Maximum-Mean-Discrepancy auf Kernel-Dichteschätzungen, um eine robuste Zusammenführung von Objektkandidaten während der Online-Exploration zu ermöglichen und gleichzeitig den zusätzlichen Rechenaufwand zu minimieren. Der Schlüssel liegt in der Beibehaltung einer festen Partikelmenge pro Objekt. Um ferner den durch fehlklassifizierte Objekte verursachten Relationsverlust zu beheben, propagiert NoPA Beziehungen zwischen Objekten mit hoher Affinität. Experimente zeigen, dass NoPA aktuelle Methoden deutlich übertrifft, ohne die Echtzeit-Inferenzgeschwindigkeit zu beeinträchtigen.

English

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.