NoPA: Generación No Paramétrica en Línea de Grafos de Escenas 3D

Resumen

Los enfoques clásicos de generación de grafos de escenas 3D no logran funcionar en tiempo real debido al alto costo computacional del mapeo del entorno y la necesidad de generar representaciones intermedias de nubes de puntos. Para aliviar este problema, un trabajo reciente prescinde de las nubes de puntos en favor de una distribución gaussiana ligera para cada objeto. Esta aproximación acelera drásticamente la inferencia y permite la generación en tiempo real de grafos de escenas 3D. Sin embargo, la representación tiene dos debilidades clave: 1) Cada objeto se aproxima mediante una única gaussiana 3D, lo que provoca una pérdida severa de detalle geométrico 3D. 2) La discrepancia entre esta aproximación y la geometría real del objeto agrava la fusión inexacta de candidatos a objeto durante la inferencia en línea. Para abordar estos problemas, proponemos NoPA, que representa cada objeto como una distribución no paramétrica separada. Esta formulación conserva la información geométrica 3D mientras mantiene la inferencia en tiempo real de la formulación gaussiana paramétrica. Para desarrollar nuestra novedosa representación de objetos, proponemos una estrategia de fusión adaptada para recuperar instancias de objetos coherentes. Específicamente, aprovechamos la discrepancia máxima media sobre estimaciones de densidad de kernel para permitir una fusión robusta de candidatos a objeto durante la exploración en línea, minimizando la complejidad computacional añadida. La clave es mantener un conjunto de partículas fijo por objeto. Además, para rectificar la pérdida de relaciones causada por objetos mal clasificados, NoPA propaga las relaciones entre objetos con alta afinidad. Los experimentos muestran que NoPA supera sustancialmente a los métodos actuales sin sacrificar la velocidad de inferencia en tiempo real.

English

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.