NoPA : Génération non-paramétrique en ligne de graphe de scène 3D

Résumé

Les approches classiques de génération de graphes de scène 3D ne parviennent pas à fonctionner en temps réel en raison du coût de calcul élevé de la cartographie de l'environnement et de la nécessité de générer des représentations intermédiaires par nuages de points. Pour atténuer ce problème, un travail récent évite les nuages de points au profit d'une distribution gaussienne légère pour chaque objet. Cette approximation accélère considérablement l'inférence et permet la génération en temps réel de graphes de scène 3D. Cependant, cette représentation présente deux faiblesses majeures : 1) Chaque objet est approximé par une seule gaussienne 3D, ce qui entraîne une perte sévère des détails géométriques 3D. 2) L'écart entre cette approximation et la géométrie réelle de l'objet exacerbe la fusion inexacte des candidats objets lors de l'inférence en ligne. Pour résoudre ces problèmes, nous proposons NoPA, qui représente chaque objet comme une distribution non paramétrique distincte. Cette formulation conserve l'information géométrique 3D tout en préservant l'inférence en temps réel de la formulation gaussienne paramétrique. Afin de tirer parti de notre nouvelle représentation d'objets, nous proposons une stratégie de fusion adaptée pour reconstruire des instances d'objets cohérentes. Plus précisément, nous utilisons la discrepancy maximale moyenne sur des estimations par noyau de densité pour permettre une fusion robuste des candidats objets lors de l'exploration en ligne, tout en minimisant la complexité de calcul ajoutée. L'élément clé est de maintenir un ensemble fixe de particules par objet. De plus, pour corriger la perte de relations causée par des objets mal classifiés, NoPA propage les relations entre objets à haute affinité. Les expériences montrent que NoPA surpasse nettement les méthodes actuelles sans sacrifier la vitesse d'inférence en temps réel.

English

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.