Ongebruikelijke Objecten in 3D

UnCommon Objects in 3D

January 13, 2025

Auteurs: Xingchen Liu, Piyush Tayal, Jianyuan Wang, Jesus Zarzar, Tom Monnier, Konstantinos Tertikas, Jiali Duan, Antoine Toisoul, Jason Y. Zhang, Natalia Neverova, Andrea Vedaldi, Roman Shapovalov, David Novotny

cs.AI

Samenvatting

We introduceren Uncommon Objects in 3D (uCO3D), een nieuwe object-gecentreerde dataset voor 3D diep leren en 3D generatieve AI. uCO3D is de grootste publiekelijk beschikbare verzameling van hoge-resolutie video's van objecten met 3D annotaties die volledige 360^{circ} dekking garanderen. uCO3D is aanzienlijk diverser dan MVImgNet en CO3Dv2, met meer dan 1.000 objectcategorieën. Het is ook van hogere kwaliteit, dankzij uitgebreide kwaliteitscontroles van zowel de verzamelde video's als de 3D annotaties. Net als analoge datasets bevat uCO3D annotaties voor 3D cameraposities, dieptekaarten en schaarse puntwolken. Bovendien is elk object voorzien van een bijschrift en een 3D Gaussian Splat reconstructie. We trainen verschillende grote 3D modellen op MVImgNet, CO3Dv2 en uCO3D en behalen superieure resultaten met de laatste, wat aantoont dat uCO3D beter is voor leerapplicaties.

English

We introduce Uncommon Objects in 3D (uCO3D), a new object-centric dataset for 3D deep learning and 3D generative AI. uCO3D is the largest publicly-available collection of high-resolution videos of objects with 3D annotations that ensures full-360^{circ} coverage. uCO3D is significantly more diverse than MVImgNet and CO3Dv2, covering more than 1,000 object categories. It is also of higher quality, due to extensive quality checks of both the collected videos and the 3D annotations. Similar to analogous datasets, uCO3D contains annotations for 3D camera poses, depth maps and sparse point clouds. In addition, each object is equipped with a caption and a 3D Gaussian Splat reconstruction. We train several large 3D models on MVImgNet, CO3Dv2, and uCO3D and obtain superior results using the latter, showing that uCO3D is better for learning applications.