NoPA: Geração Online Não Paramétrica de Grafos de Cena 3D

Resumo

As abordagens clássicas de geração de grafos de cena 3D não conseguem operar em tempo real devido ao alto custo computacional do mapeamento do ambiente e à necessidade de gerar representações intermediárias de nuvem de pontos. Para mitigar esse problema, um trabalho recente descarta nuvens de pontos em favor de uma distribuição gaussiana leve para cada objeto. Essa aproximação acelera drasticamente a inferência e viabiliza a geração de grafos de cena 3D em tempo real. No entanto, a representação apresenta duas fragilidades principais: 1) Cada objeto é aproximado por uma única Gaussiana 3D, o que causa uma perda severa de detalhes geométricos tridimensionais. 2) A discrepância entre essa aproximação e a geometria real do objeto agrava a fusão imprecisa de candidatos a objeto durante a inferência online. Para resolver esses problemas, propomos NoPA, que representa cada objeto como uma distribuição não paramétrica separada. Essa formulação retém informações geométricas 3D enquanto preserva a inferência em tempo real da formulação gaussiana paramétrica. Com base nessa nova representação de objeto, propomos uma estratégia de fusão adaptada para recuperar instâncias de objeto coerentes. Especificamente, empregamos a discrepância máxima da média sobre estimativas de densidade por kernel para viabilizar a fusão robusta de candidatos a objeto durante a exploração online, minimizando a complexidade computacional adicional. O segredo é manter um conjunto fixo de partículas por objeto. Além disso, para corrigir a perda de relação causada por objetos mal classificados, o NoPA propaga relações entre objetos com alta afinidade. Experimentos mostram que o NoPA supera significativamente os métodos atuais sem sacrificar a velocidade de inferência em tempo real.

English

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.