Hi3DEval: Vooruitgang in 3D-generatie-evaluatie met hiërarchische geldigheid

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

August 7, 2025

Auteurs: Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

Samenvatting

Ondanks snelle vooruitgang in 3D-contentgeneratie blijft kwaliteitsbeoordeling voor de gegenereerde 3D-assets een uitdaging. Bestaande methoden baseren zich voornamelijk op beeldgebaseerde metrieken en werken uitsluitend op objectniveau, wat hun vermogen beperkt om ruimtelijke samenhang, materiaalauthenticiteit en hoogwaardige lokale details vast te leggen. 1) Om deze uitdagingen aan te pakken, introduceren we Hi3DEval, een hiërarchisch evaluatiekader speciaal ontworpen voor 3D-generatieve content. Het combineert zowel object- als onderdeelniveau-evaluatie, waardoor holistische beoordelingen over meerdere dimensies mogelijk zijn, evenals fijnmazige kwaliteitsanalyse. Daarnaast breiden we textuurevaluatie uit voorbij esthetisch uiterlijk door expliciet materiaalrealisme te beoordelen, met focus op attributen zoals albedo, verzadiging en metalliciteit. 2) Om dit kader te ondersteunen, construeren we Hi3DBench, een grootschalige dataset met diverse 3D-assets en hoogwaardige annotaties, vergezeld van een betrouwbaar multi-agent annotatiepijplijn. We stellen verder een 3D-bewust automatisch scoringssysteem voor, gebaseerd op hybride 3D-representaties. Specifiek benutten we videogebaseerde representaties voor objectniveau- en materiaalonderwerp-evaluaties om de modellering van spatio-temporele consistentie te verbeteren en gebruiken we voorgetrainde 3D-kenmerken voor onderdeelniveau-perceptie. Uitgebreide experimenten tonen aan dat onze aanpak bestaande beeldgebaseerde metrieken overtreft in het modelleren van 3D-kenmerken en een superieure afstemming met menselijke voorkeur bereikt, wat een schaalbare alternatief biedt voor handmatige evaluaties. De projectpagina is beschikbaar op https://zyh482.github.io/Hi3DEval/.

English

Despite rapid advances in 3D content generation, quality assessment for the generated 3D assets remains challenging. Existing methods mainly rely on image-based metrics and operate solely at the object level, limiting their ability to capture spatial coherence, material authenticity, and high-fidelity local details. 1) To address these challenges, we introduce Hi3DEval, a hierarchical evaluation framework tailored for 3D generative content. It combines both object-level and part-level evaluation, enabling holistic assessments across multiple dimensions as well as fine-grained quality analysis. Additionally, we extend texture evaluation beyond aesthetic appearance by explicitly assessing material realism, focusing on attributes such as albedo, saturation, and metallicness. 2) To support this framework, we construct Hi3DBench, a large-scale dataset comprising diverse 3D assets and high-quality annotations, accompanied by a reliable multi-agent annotation pipeline. We further propose a 3D-aware automated scoring system based on hybrid 3D representations. Specifically, we leverage video-based representations for object-level and material-subject evaluations to enhance modeling of spatio-temporal consistency and employ pretrained 3D features for part-level perception. Extensive experiments demonstrate that our approach outperforms existing image-based metrics in modeling 3D characteristics and achieves superior alignment with human preference, providing a scalable alternative to manual evaluations. The project page is available at https://zyh482.github.io/Hi3DEval/.