Objetos no Comunes en 3D

UnCommon Objects in 3D

January 13, 2025

Autores: Xingchen Liu, Piyush Tayal, Jianyuan Wang, Jesus Zarzar, Tom Monnier, Konstantinos Tertikas, Jiali Duan, Antoine Toisoul, Jason Y. Zhang, Natalia Neverova, Andrea Vedaldi, Roman Shapovalov, David Novotny

cs.AI

Resumen

Presentamos Objetos Poco Comunes en 3D (uCO3D), un nuevo conjunto de datos centrado en objetos para el aprendizaje profundo en 3D y la inteligencia artificial generativa en 3D. uCO3D es la colección más grande disponible públicamente de videos de alta resolución de objetos con anotaciones en 3D que garantiza una cobertura completa de 360 grados. uCO3D es significativamente más diverso que MVImgNet y CO3Dv2, abarcando más de 1,000 categorías de objetos. También es de mayor calidad, debido a extensas verificaciones de calidad tanto de los videos recopilados como de las anotaciones en 3D. Al igual que conjuntos de datos análogos, uCO3D contiene anotaciones para poses de cámara en 3D, mapas de profundidad y nubes de puntos dispersas. Además, cada objeto está equipado con una leyenda y una reconstrucción de Splat Gaussiano en 3D. Entrenamos varios modelos 3D grandes en MVImgNet, CO3Dv2 y uCO3D y obtenemos resultados superiores utilizando este último, demostrando que uCO3D es mejor para aplicaciones de aprendizaje.

English

We introduce Uncommon Objects in 3D (uCO3D), a new object-centric dataset for 3D deep learning and 3D generative AI. uCO3D is the largest publicly-available collection of high-resolution videos of objects with 3D annotations that ensures full-360^{circ} coverage. uCO3D is significantly more diverse than MVImgNet and CO3Dv2, covering more than 1,000 object categories. It is also of higher quality, due to extensive quality checks of both the collected videos and the 3D annotations. Similar to analogous datasets, uCO3D contains annotations for 3D camera poses, depth maps and sparse point clouds. In addition, each object is equipped with a caption and a 3D Gaussian Splat reconstruction. We train several large 3D models on MVImgNet, CO3Dv2, and uCO3D and obtain superior results using the latter, showing that uCO3D is better for learning applications.