NoPA: Непараметрическая онлайн-генерация трехмерных графов сцен

Аннотация

Классические подходы к генерации трехмерных графов сцен не могут работать в реальном времени из-за высокой вычислительной стоимости отображения окружения и необходимости создания промежуточных точечно-облачных представлений. Для смягчения этой проблемы в недавней работе отказались от точечных облаков в пользу легковесного гауссова распределения для каждого объекта. Такая аппроксимация значительно ускоряет инференс и позволяет генерировать трехмерные графы сцен в реальном времени. Однако данное представление имеет два ключевых недостатка. 1) Каждый объект аппроксимируется одним трехмерным гауссианом, что приводит к серьезной потере трехмерных геометрических деталей. 2) Расхождение между этой аппроксимацией и истинной геометрией объекта усугубляет неточное слияние кандидатов в объекты во время онлайн-инференса. Для решения этих проблем мы предлагаем NoPA, который представляет каждый объект в виде отдельного непараметрического распределения. Данная формулировка сохраняет трехмерную геометрическую информацию, обеспечивая при этом вывод в реальном времени, как и параметрическая гауссова формулировка. Для развития нашего нового представления объектов мы предлагаем специализированную стратегию слияния, направленную на восстановление согласованных экземпляров объектов. В частности, мы используем максимальное среднее расхождение (MMD) на оценках плотности ядра, чтобы обеспечить надежное слияние кандидатов в объекты во время онлайн-исследования, минимизируя при этом дополнительную вычислительную сложность. Ключевым моментом является поддержание фиксированного набора частиц для каждого объекта. Кроме того, для исправления потери отношений, вызванной неправильно классифицированными объектами, NoPA распространяет связи между объектами с высокой аффинностью. Эксперименты показывают, что NoPA значительно превосходит существующие методы, не жертвуя скоростью вывода в реальном времени.

English

Classic 3D scene graph generation approaches fail to work in real-time due to the heavy computational cost of environment mapping and the need to generate intermediate point-cloud representations. To alleviate this issue, a recent work eschews point clouds in favor of a lightweight Gaussian distribution for each object. This approximation drastically speeds up inference and enables real-time 3D scene graph generation. However, the representation has two key weaknesses. 1) Each object is approximated by a single 3D Gaussian, which causes a severe loss of 3D geometric detail. 2) The discrepancy between this approximation and the true object geometry exacerbates the inaccurate merging of object candidates during online inference. To address these issues, we propose NoPA, which represents each object as a separate non-parametric distribution. This formulation retains 3D geometric information while preserving real-time inference of the parametric Gaussian formulation. To build upon our novel object representation, we propose a tailored merging strategy to recover coherent object instances. Specifically, we leverage maximum mean discrepancy on kernel density estimates to enable robust merging of object candidates during online exploration while minimizing added computational complexity. The key is to maintain a fixed particle set per object. Furthermore, to rectify the relation loss caused by misclassified objects, NoPA propagates relationships between objects with high affinity. Experiments show that NoPA substantially outperforms current methods without sacrificing real-time inference speed.