Hi3DEval: Avançando na Avaliação de Geração 3D com Validade Hierárquica

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

August 7, 2025

Autores: Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

Resumo

Apesar dos rápidos avanços na geração de conteúdo 3D, a avaliação da qualidade dos ativos 3D gerados continua sendo um desafio. Os métodos existentes dependem principalmente de métricas baseadas em imagens e operam exclusivamente no nível do objeto, limitando sua capacidade de capturar coerência espacial, autenticidade de materiais e detalhes locais de alta fidelidade. 1) Para enfrentar esses desafios, introduzimos o Hi3DEval, um framework de avaliação hierárquico projetado para conteúdo gerativo 3D. Ele combina avaliações tanto no nível do objeto quanto no nível das partes, permitindo avaliações holísticas em múltiplas dimensões, bem como análises de qualidade refinadas. Além disso, estendemos a avaliação de texturas além da aparência estética, avaliando explicitamente o realismo dos materiais, com foco em atributos como albedo, saturação e metalicidade. 2) Para apoiar este framework, construímos o Hi3DBench, um conjunto de dados em larga escala que compreende diversos ativos 3D e anotações de alta qualidade, acompanhado por um pipeline confiável de anotação multiagente. Propomos ainda um sistema de pontuação automatizado 3D-aware baseado em representações híbridas 3D. Especificamente, utilizamos representações baseadas em vídeo para avaliações no nível do objeto e de materiais, a fim de aprimorar a modelagem da consistência espaço-temporal, e empregamos recursos 3D pré-treinados para percepção no nível das partes. Experimentos extensivos demonstram que nossa abordagem supera as métricas baseadas em imagens existentes na modelagem de características 3D e alcança uma alinhamento superior com as preferências humanas, oferecendo uma alternativa escalável às avaliações manuais. A página do projeto está disponível em https://zyh482.github.io/Hi3DEval/.

English

Despite rapid advances in 3D content generation, quality assessment for the generated 3D assets remains challenging. Existing methods mainly rely on image-based metrics and operate solely at the object level, limiting their ability to capture spatial coherence, material authenticity, and high-fidelity local details. 1) To address these challenges, we introduce Hi3DEval, a hierarchical evaluation framework tailored for 3D generative content. It combines both object-level and part-level evaluation, enabling holistic assessments across multiple dimensions as well as fine-grained quality analysis. Additionally, we extend texture evaluation beyond aesthetic appearance by explicitly assessing material realism, focusing on attributes such as albedo, saturation, and metallicness. 2) To support this framework, we construct Hi3DBench, a large-scale dataset comprising diverse 3D assets and high-quality annotations, accompanied by a reliable multi-agent annotation pipeline. We further propose a 3D-aware automated scoring system based on hybrid 3D representations. Specifically, we leverage video-based representations for object-level and material-subject evaluations to enhance modeling of spatio-temporal consistency and employ pretrained 3D features for part-level perception. Extensive experiments demonstrate that our approach outperforms existing image-based metrics in modeling 3D characteristics and achieves superior alignment with human preference, providing a scalable alternative to manual evaluations. The project page is available at https://zyh482.github.io/Hi3DEval/.