Hi3DEval: Progressi nella Valutazione della Generazione 3D con Validità Gerarchica

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

August 7, 2025

Autori: Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

Abstract

Nonostante i rapidi progressi nella generazione di contenuti 3D, la valutazione della qualità degli asset 3D generati rimane una sfida. I metodi esistenti si basano principalmente su metriche basate su immagini e operano esclusivamente a livello di oggetto, limitando la loro capacità di catturare la coerenza spaziale, l'autenticità dei materiali e i dettagli locali ad alta fedeltà. 1) Per affrontare queste sfide, introduciamo Hi3DEval, un framework di valutazione gerarchico progettato per contenuti generativi 3D. Combina valutazioni sia a livello di oggetto che di parte, consentendo valutazioni olistiche su più dimensioni e un'analisi di qualità fine-grana. Inoltre, estendiamo la valutazione delle texture oltre l'aspetto estetico, valutando esplicitamente il realismo dei materiali, con un focus su attributi come l'albedo, la saturazione e la metallicità. 2) Per supportare questo framework, costruiamo Hi3DBench, un dataset su larga scala che comprende asset 3D diversificati e annotazioni di alta qualità, accompagnato da una pipeline di annotazione multi-agente affidabile. Proponiamo inoltre un sistema di punteggio automatico consapevole del 3D basato su rappresentazioni ibride 3D. Nello specifico, sfruttiamo rappresentazioni basate su video per valutazioni a livello di oggetto e di materiale per migliorare la modellazione della coerenza spazio-temporale e impieghiamo feature 3D pre-addestrate per la percezione a livello di parte. Esperimenti estensivi dimostrano che il nostro approccio supera le metriche basate su immagini esistenti nella modellazione delle caratteristiche 3D e raggiunge un allineamento superiore con le preferenze umane, fornendo un'alternativa scalabile alle valutazioni manuali. La pagina del progetto è disponibile all'indirizzo https://zyh482.github.io/Hi3DEval/.

English

Despite rapid advances in 3D content generation, quality assessment for the generated 3D assets remains challenging. Existing methods mainly rely on image-based metrics and operate solely at the object level, limiting their ability to capture spatial coherence, material authenticity, and high-fidelity local details. 1) To address these challenges, we introduce Hi3DEval, a hierarchical evaluation framework tailored for 3D generative content. It combines both object-level and part-level evaluation, enabling holistic assessments across multiple dimensions as well as fine-grained quality analysis. Additionally, we extend texture evaluation beyond aesthetic appearance by explicitly assessing material realism, focusing on attributes such as albedo, saturation, and metallicness. 2) To support this framework, we construct Hi3DBench, a large-scale dataset comprising diverse 3D assets and high-quality annotations, accompanied by a reliable multi-agent annotation pipeline. We further propose a 3D-aware automated scoring system based on hybrid 3D representations. Specifically, we leverage video-based representations for object-level and material-subject evaluations to enhance modeling of spatio-temporal consistency and employ pretrained 3D features for part-level perception. Extensive experiments demonstrate that our approach outperforms existing image-based metrics in modeling 3D characteristics and achieves superior alignment with human preference, providing a scalable alternative to manual evaluations. The project page is available at https://zyh482.github.io/Hi3DEval/.