Hi3DEval: Avanzando en la Evaluación de Generación 3D con Validez Jerárquica

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

August 7, 2025

Autores: Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

Resumen

A pesar de los rápidos avances en la generación de contenido 3D, la evaluación de la calidad de los activos 3D generados sigue siendo un desafío. Los métodos existentes se basan principalmente en métricas basadas en imágenes y operan únicamente a nivel de objeto, lo que limita su capacidad para capturar la coherencia espacial, la autenticidad de los materiales y los detalles locales de alta fidelidad. 1) Para abordar estos desafíos, presentamos Hi3DEval, un marco de evaluación jerárquico diseñado específicamente para contenido generativo 3D. Combina la evaluación tanto a nivel de objeto como a nivel de parte, permitiendo evaluaciones holísticas en múltiples dimensiones, así como un análisis de calidad detallado. Además, extendemos la evaluación de texturas más allá de la apariencia estética al evaluar explícitamente el realismo de los materiales, centrándonos en atributos como el albedo, la saturación y el aspecto metálico. 2) Para respaldar este marco, construimos Hi3DBench, un conjunto de datos a gran escala que incluye diversos activos 3D y anotaciones de alta calidad, acompañado de una canalización de anotación confiable basada en múltiples agentes. Además, proponemos un sistema de puntuación automatizado consciente del 3D basado en representaciones híbridas 3D. Específicamente, aprovechamos representaciones basadas en video para evaluaciones a nivel de objeto y de materiales, mejorando el modelado de la consistencia espacio-temporal, y empleamos características 3D preentrenadas para la percepción a nivel de parte. Experimentos extensos demuestran que nuestro enfoque supera a las métricas basadas en imágenes existentes en el modelado de características 3D y logra una alineación superior con las preferencias humanas, proporcionando una alternativa escalable a las evaluaciones manuales. La página del proyecto está disponible en https://zyh482.github.io/Hi3DEval/.

English

Despite rapid advances in 3D content generation, quality assessment for the generated 3D assets remains challenging. Existing methods mainly rely on image-based metrics and operate solely at the object level, limiting their ability to capture spatial coherence, material authenticity, and high-fidelity local details. 1) To address these challenges, we introduce Hi3DEval, a hierarchical evaluation framework tailored for 3D generative content. It combines both object-level and part-level evaluation, enabling holistic assessments across multiple dimensions as well as fine-grained quality analysis. Additionally, we extend texture evaluation beyond aesthetic appearance by explicitly assessing material realism, focusing on attributes such as albedo, saturation, and metallicness. 2) To support this framework, we construct Hi3DBench, a large-scale dataset comprising diverse 3D assets and high-quality annotations, accompanied by a reliable multi-agent annotation pipeline. We further propose a 3D-aware automated scoring system based on hybrid 3D representations. Specifically, we leverage video-based representations for object-level and material-subject evaluations to enhance modeling of spatio-temporal consistency and employ pretrained 3D features for part-level perception. Extensive experiments demonstrate that our approach outperforms existing image-based metrics in modeling 3D characteristics and achieves superior alignment with human preference, providing a scalable alternative to manual evaluations. The project page is available at https://zyh482.github.io/Hi3DEval/.