Hi3DEval : Progrès dans l'évaluation de la génération 3D avec une validité hiérarchique

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

August 7, 2025

papers.authors: Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

papers.abstract

Malgré les avancées rapides dans la génération de contenu 3D, l'évaluation de la qualité des actifs 3D générés reste un défi. Les méthodes existantes reposent principalement sur des métriques basées sur l'image et opèrent uniquement au niveau de l'objet, limitant leur capacité à capturer la cohérence spatiale, l'authenticité des matériaux et les détails locaux de haute fidélité. 1) Pour relever ces défis, nous introduisons Hi3DEval, un cadre d'évaluation hiérarchique conçu pour le contenu génératif 3D. Il combine une évaluation à la fois au niveau de l'objet et au niveau des parties, permettant des évaluations holistiques à travers plusieurs dimensions ainsi qu'une analyse fine de la qualité. De plus, nous étendons l'évaluation des textures au-delà de l'apparence esthétique en évaluant explicitement le réalisme des matériaux, en nous concentrant sur des attributs tels que l'albédo, la saturation et la métallicité. 2) Pour soutenir ce cadre, nous construisons Hi3DBench, un ensemble de données à grande échelle comprenant divers actifs 3D et des annotations de haute qualité, accompagné d'un pipeline d'annotation multi-agent fiable. Nous proposons en outre un système de notation automatisé 3D basé sur des représentations hybrides 3D. Plus précisément, nous exploitons des représentations basées sur la vidéo pour les évaluations au niveau de l'objet et des sujets matériels afin d'améliorer la modélisation de la cohérence spatio-temporelle, et nous utilisons des caractéristiques 3D pré-entraînées pour la perception au niveau des parties. Des expériences approfondies démontrent que notre approche surpasse les métriques basées sur l'image existantes dans la modélisation des caractéristiques 3D et atteint une meilleure alignement avec les préférences humaines, offrant une alternative évolutive aux évaluations manuelles. La page du projet est disponible à l'adresse https://zyh482.github.io/Hi3DEval/.

English

Despite rapid advances in 3D content generation, quality assessment for the generated 3D assets remains challenging. Existing methods mainly rely on image-based metrics and operate solely at the object level, limiting their ability to capture spatial coherence, material authenticity, and high-fidelity local details. 1) To address these challenges, we introduce Hi3DEval, a hierarchical evaluation framework tailored for 3D generative content. It combines both object-level and part-level evaluation, enabling holistic assessments across multiple dimensions as well as fine-grained quality analysis. Additionally, we extend texture evaluation beyond aesthetic appearance by explicitly assessing material realism, focusing on attributes such as albedo, saturation, and metallicness. 2) To support this framework, we construct Hi3DBench, a large-scale dataset comprising diverse 3D assets and high-quality annotations, accompanied by a reliable multi-agent annotation pipeline. We further propose a 3D-aware automated scoring system based on hybrid 3D representations. Specifically, we leverage video-based representations for object-level and material-subject evaluations to enhance modeling of spatio-temporal consistency and employ pretrained 3D features for part-level perception. Extensive experiments demonstrate that our approach outperforms existing image-based metrics in modeling 3D characteristics and achieves superior alignment with human preference, providing a scalable alternative to manual evaluations. The project page is available at https://zyh482.github.io/Hi3DEval/.