Objets inhabituels en 3D

UnCommon Objects in 3D

January 13, 2025

Auteurs: Xingchen Liu, Piyush Tayal, Jianyuan Wang, Jesus Zarzar, Tom Monnier, Konstantinos Tertikas, Jiali Duan, Antoine Toisoul, Jason Y. Zhang, Natalia Neverova, Andrea Vedaldi, Roman Shapovalov, David Novotny

cs.AI

Résumé

Nous présentons Objets Insolites en 3D (uCO3D), un nouveau jeu de données centré sur les objets pour l'apprentissage profond en 3D et l'IA générative en 3D. uCO3D est la plus grande collection publiquement disponible de vidéos haute résolution d'objets avec des annotations en 3D garantissant une couverture complète à 360 degrés. uCO3D est significativement plus diversifié que MVImgNet et CO3Dv2, couvrant plus de 1 000 catégories d'objets. Il est également de meilleure qualité, grâce à des contrôles de qualité approfondis des vidéos collectées et des annotations en 3D. Tout comme des jeux de données analogues, uCO3D contient des annotations pour les poses de caméra en 3D, les cartes de profondeur et des nuages de points épars. De plus, chaque objet est accompagné d'une légende et d'une reconstruction en éclaboussures gaussiennes en 3D. Nous entraînons plusieurs grands modèles 3D sur MVImgNet, CO3Dv2 et uCO3D et obtenons des résultats supérieurs avec ce dernier, démontrant que uCO3D est plus adapté aux applications d'apprentissage.

English

We introduce Uncommon Objects in 3D (uCO3D), a new object-centric dataset for 3D deep learning and 3D generative AI. uCO3D is the largest publicly-available collection of high-resolution videos of objects with 3D annotations that ensures full-360^{circ} coverage. uCO3D is significantly more diverse than MVImgNet and CO3Dv2, covering more than 1,000 object categories. It is also of higher quality, due to extensive quality checks of both the collected videos and the 3D annotations. Similar to analogous datasets, uCO3D contains annotations for 3D camera poses, depth maps and sparse point clouds. In addition, each object is equipped with a caption and a 3D Gaussian Splat reconstruction. We train several large 3D models on MVImgNet, CO3Dv2, and uCO3D and obtain superior results using the latter, showing that uCO3D is better for learning applications.