NoPA: 비모수적 온라인 3D 장면 그래프 생성

초록

기존의 3D 장면 그래프 생성 방법은 환경 매핑의 높은 계산 비용과 중간 포인트 클라우드 표현을 생성해야 하는 필요성으로 인해 실시간으로 작동하지 못한다. 이 문제를 완화하기 위해, 최근 연구에서는 각 객체에 대해 경량의 가우시안 분포를 선호하여 포인트 클라우드를 배제한다. 이 근사법은 추론 속도를 대폭 향상시켜 실시간 3D 장면 그래프 생성을 가능하게 한다. 그러나 이 표현에는 두 가지 주요 약점이 있다. 1) 각 객체가 단일 3D 가우시안으로 근사되어 3D 기하학적 세부 정보가 심각하게 손실된다. 2) 이 근사와 실제 객체 기하학 간의 차이는 온라인 추론 중 객체 후보들의 부정확한 병합을 악화시킨다. 이러한 문제를 해결하기 위해, 우리는 각 객체를 별도의 비모수적 분포로 표현하는 NoPA를 제안한다. 이 공식은 3D 기하학적 정보를 유지하면서 파라메트릭 가우시안 공식의 실시간 추론을 보존한다. 새로운 객체 표현을 기반으로, 우리는 일관된 객체 인스턴스를 복구하기 위해 맞춤형 병합 전략을 제안한다. 구체적으로, 우리는 커널 밀도 추정에 대한 최대 평균 불일치를 활용하여 추가 계산 복잡성을 최소화하면서 온라인 탐색 중 객체 후보들의 강건한 병합을 가능하게 한다. 핵심은 객체당 고정된 입자 집합을 유지하는 것이다. 또한, 잘못 분류된 객체로 인한 관계 손실을 교정하기 위해 NoPA는 높은 친화도를 가진 객체 간의 관계를 전파한다. 실험 결과, NoPA가 실시간 추론 속도를 희생하지 않으면서 현재 방법들을 크게 능가함을 보여준다.

English

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.