NoPA: ノンパラメトリック・オンライン3Dシーングラフ生成

要旨

従来の3Dシーングラフ生成手法は、環境マッピングの高い計算コストと中間的な点群表現の生成が必要なことから、リアルタイムでの動作が困難です。この問題を軽減するため、最近の研究では各オブジェクトに対して軽量なガウス分布を採用し、点群を回避しています。この近似により推論が大幅に高速化され、リアルタイムの3Dシーングラフ生成が可能になります。しかし、この表現には2つの主要な弱点があります。1) 各オブジェクトが単一の3Dガウス分布で近似されるため、3D幾何学的詳細が大幅に失われる。2) この近似と実際のオブジェクト形状との差異により、オンライン推論中におけるオブジェクト候補の不正確な統合が悪化する。これらの問題に対処するため、我々はNoPAを提案します。NoPAは各オブジェクトを個別のノンパラメトリック分布として表現します。この定式化により、パラメトリックなガウス分布形式のリアルタイム推論を維持しつつ、3D幾何学的情報を保持します。この新しいオブジェクト表現に基づき、一貫性のあるオブジェクトインスタンスを復元するための調整された統合戦略を提案します。具体的には、カーネル密度推定に対する最大平均不一致を活用し、追加の計算複雑性を最小限に抑えながら、オンライン探索中にオブジェクト候補のロバストな統合を可能にします。鍵となるのは、オブジェクトごとに固定の粒子セットを維持することです。さらに、誤分類されたオブジェクトによる関係損失を修正するために、NoPAは高い親和性を持つオブジェクト間の関係を伝播します。実験により、NoPAはリアルタイム推論速度を犠牲にすることなく、現在の手法を大幅に上回る性能を示します。

English

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.