事前学習済みテキスト-to-画像拡散モデルを用いた点群補完
Point-Cloud Completion with Pretrained Text-to-image Diffusion Models
June 18, 2023
著者: Yoni Kasten, Ohad Rahamim, Gal Chechik
cs.AI
要旨
現実世界のアプリケーションで収集されたポイントクラウドデータは、しばしば不完全です。データが欠落する主な理由は、物体が部分的な視点から観察されるため、特定の視点や角度しか捉えられないことです。さらに、オクルージョンや低解像度サンプリングによってもデータが不完全になることがあります。既存の補完手法は、事前に定義された物体のデータセットに依存して、ノイズの多い不完全なポイントクラウドを補完します。しかし、これらの手法は、訓練データセットに十分に含まれていない分布外（Out-Of-Distribution, OOD）の物体に対しては性能が低いことが分かっています。本研究では、テキストガイドによる画像生成の最近の進展を活用し、テキストガイドによる形状生成における大きなブレークスルーを実現しました。我々は、SDS-Completeと呼ばれる手法を提案します。この手法は、事前学習済みのテキストから画像への拡散モデルを使用し、与えられた不完全なポイントクラウドのテキスト意味情報を活用して、完全な表面表現を取得します。SDS-Completeは、3D情報の高価な収集を必要とせずに、テスト時の最適化を使用して多様な物体を補完することができます。我々は、実世界の深度センサーやLiDARスキャナーによってキャプチャされた不完全なスキャン物体に対してSDS-Completeを評価しました。その結果、一般的なデータセットに含まれていない物体を効果的に再構築し、現在の手法と比較して平均で50%のChamfer損失を削減することがわかりました。プロジェクトページ: https://sds-complete.github.io/
English
Point-cloud data collected in real-world applications are often incomplete.
Data is typically missing due to objects being observed from partial
viewpoints, which only capture a specific perspective or angle. Additionally,
data can be incomplete due to occlusion and low-resolution sampling. Existing
completion approaches rely on datasets of predefined objects to guide the
completion of noisy and incomplete, point clouds. However, these approaches
perform poorly when tested on Out-Of-Distribution (OOD) objects, that are
poorly represented in the training dataset. Here we leverage recent advances in
text-guided image generation, which lead to major breakthroughs in text-guided
shape generation. We describe an approach called SDS-Complete that uses a
pre-trained text-to-image diffusion model and leverages the text semantics of a
given incomplete point cloud of an object, to obtain a complete surface
representation. SDS-Complete can complete a variety of objects using test-time
optimization without expensive collection of 3D information. We evaluate SDS
Complete on incomplete scanned objects, captured by real-world depth sensors
and LiDAR scanners. We find that it effectively reconstructs objects that are
absent from common datasets, reducing Chamfer loss by 50% on average compared
with current methods. Project page: https://sds-complete.github.io/