OpenShape: Scalabilità della Rappresentazione di Forme 3D verso la Comprensione del Mondo Aperto

OpenShape: Scaling Up 3D Shape Representation Towards Open-World Understanding

May 18, 2023

Autori: Minghua Liu, Ruoxi Shi, Kaiming Kuang, Yinhao Zhu, Xuanlin Li, Shizhong Han, Hong Cai, Fatih Porikli, Hao Su

cs.AI

Abstract

Introduciamo OpenShape, un metodo per apprendere rappresentazioni congiunte multimodali di testo, immagini e nuvole di punti. Adottiamo il framework comunemente utilizzato per l'apprendimento contrastivo multimodale per l'allineamento delle rappresentazioni, ma con un focus specifico sullo scalare le rappresentazioni 3D per abilitare la comprensione di forme 3D in un contesto open-world. Per raggiungere questo obiettivo, aumentiamo i dati di training aggregando più dataset 3D e proponiamo diverse strategie per filtrare e arricchire automaticamente descrizioni testuali rumorose. Esploriamo e confrontiamo inoltre strategie per scalare le reti di backbone 3D e introduciamo un modulo innovativo di hard negative mining per un training più efficiente. Valutiamo OpenShape su benchmark di classificazione zero-shot 3D e dimostriamo le sue capacità superiori per il riconoscimento in contesti open-world. In particolare, OpenShape raggiunge un'accuratezza zero-shot del 46,8% sul benchmark Objaverse-LVIS con 1.156 categorie, rispetto a meno del 10% dei metodi esistenti. OpenShape raggiunge inoltre un'accuratezza dell'85,3% su ModelNet40, superando i precedenti metodi baseline zero-shot del 20% e performando alla pari con alcuni metodi completamente supervisionati. Inoltre, mostriamo che i nostri embedding appresi codificano un'ampia gamma di concetti visivi e semantici (ad esempio, sottocategorie, colore, forma, stile) e facilitano interazioni fine-grained tra testo-3D e immagine-3D. Grazie al loro allineamento con gli embedding CLIP, le nostre rappresentazioni di forme apprese possono anche essere integrate con modelli basati su CLIP pronti all'uso per varie applicazioni, come la generazione di descrizioni per nuvole di punti e la generazione di immagini condizionate da nuvole di punti.

English

We introduce OpenShape, a method for learning multi-modal joint representations of text, image, and point clouds. We adopt the commonly used multi-modal contrastive learning framework for representation alignment, but with a specific focus on scaling up 3D representations to enable open-world 3D shape understanding. To achieve this, we scale up training data by ensembling multiple 3D datasets and propose several strategies to automatically filter and enrich noisy text descriptions. We also explore and compare strategies for scaling 3D backbone networks and introduce a novel hard negative mining module for more efficient training. We evaluate OpenShape on zero-shot 3D classification benchmarks and demonstrate its superior capabilities for open-world recognition. Specifically, OpenShape achieves a zero-shot accuracy of 46.8% on the 1,156-category Objaverse-LVIS benchmark, compared to less than 10% for existing methods. OpenShape also achieves an accuracy of 85.3% on ModelNet40, outperforming previous zero-shot baseline methods by 20% and performing on par with some fully-supervised methods. Furthermore, we show that our learned embeddings encode a wide range of visual and semantic concepts (e.g., subcategories, color, shape, style) and facilitate fine-grained text-3D and image-3D interactions. Due to their alignment with CLIP embeddings, our learned shape representations can also be integrated with off-the-shelf CLIP-based models for various applications, such as point cloud captioning and point cloud-conditioned image generation.