Hi3DEval: Fortschritt in der 3D-Generationsbewertung durch hierarchische Validität

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

August 7, 2025

papers.authors: Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

papers.abstract

Trotz rasanter Fortschritte in der 3D-Inhaltsgenerierung bleibt die Qualitätsbewertung der erzeugten 3D-Assets eine Herausforderung. Bestehende Methoden stützen sich hauptsächlich auf bildbasierte Metriken und operieren ausschließlich auf Objektebene, was ihre Fähigkeit einschränkt, räumliche Kohärenz, Materialauthentizität und hochauflösende lokale Details zu erfassen. 1) Um diese Herausforderungen zu bewältigen, führen wir Hi3DEval ein, ein hierarchisches Bewertungsframework, das speziell für generative 3D-Inhalte entwickelt wurde. Es kombiniert sowohl objekt- als auch teilebasierte Bewertungen und ermöglicht so ganzheitliche Bewertungen über mehrere Dimensionen hinweg sowie eine feingranulare Qualitätsanalyse. Darüber hinaus erweitern wir die Texturbewertung über das ästhetische Erscheinungsbild hinaus, indem wir explizit die Materialrealität bewerten, wobei wir uns auf Attribute wie Albedo, Sättigung und Metallizität konzentrieren. 2) Zur Unterstützung dieses Frameworks erstellen wir Hi3DBench, einen umfangreichen Datensatz, der diverse 3D-Assets und hochwertige Annotationen umfasst, begleitet von einer zuverlässigen Multi-Agenten-Annotationspipeline. Wir schlagen außerdem ein 3D-basiertes automatisiertes Bewertungssystem vor, das auf hybriden 3D-Repräsentationen basiert. Insbesondere nutzen wir videobasierte Repräsentationen für objekt- und materialbezogene Bewertungen, um die Modellierung der raumzeitlichen Konsistenz zu verbessern, und verwenden vortrainierte 3D-Features für die teilebasierte Wahrnehmung. Umfangreiche Experimente zeigen, dass unser Ansatz bestehende bildbasierte Metriken in der Modellierung von 3D-Charakteristiken übertrifft und eine überlegene Übereinstimmung mit menschlichen Präferenzen erreicht, wodurch eine skalierbare Alternative zu manuellen Bewertungen geboten wird. Die Projektseite ist unter https://zyh482.github.io/Hi3DEval/ verfügbar.

English

Despite rapid advances in 3D content generation, quality assessment for the generated 3D assets remains challenging. Existing methods mainly rely on image-based metrics and operate solely at the object level, limiting their ability to capture spatial coherence, material authenticity, and high-fidelity local details. 1) To address these challenges, we introduce Hi3DEval, a hierarchical evaluation framework tailored for 3D generative content. It combines both object-level and part-level evaluation, enabling holistic assessments across multiple dimensions as well as fine-grained quality analysis. Additionally, we extend texture evaluation beyond aesthetic appearance by explicitly assessing material realism, focusing on attributes such as albedo, saturation, and metallicness. 2) To support this framework, we construct Hi3DBench, a large-scale dataset comprising diverse 3D assets and high-quality annotations, accompanied by a reliable multi-agent annotation pipeline. We further propose a 3D-aware automated scoring system based on hybrid 3D representations. Specifically, we leverage video-based representations for object-level and material-subject evaluations to enhance modeling of spatio-temporal consistency and employ pretrained 3D features for part-level perception. Extensive experiments demonstrate that our approach outperforms existing image-based metrics in modeling 3D characteristics and achieves superior alignment with human preference, providing a scalable alternative to manual evaluations. The project page is available at https://zyh482.github.io/Hi3DEval/.