Hi3DEval: Развитие оценки генерации 3D с использованием иерархической валидности

Hi3DEval: Advancing 3D Generation Evaluation with Hierarchical Validity

August 7, 2025

Авторы: Yuhan Zhang, Long Zhuo, Ziyang Chu, Tong Wu, Zhibing Li, Liang Pan, Dahua Lin, Ziwei Liu

cs.AI

Аннотация

Несмотря на быстрый прогресс в области генерации 3D-контента, оценка качества созданных 3D-активов остается сложной задачей. Существующие методы в основном опираются на метрики, основанные на изображениях, и работают исключительно на уровне объекта, что ограничивает их способность учитывать пространственную согласованность, аутентичность материалов и высококачественные локальные детали. 1) Для решения этих проблем мы представляем Hi3DEval — иерархическую систему оценки, адаптированную для 3D-генеративного контента. Она сочетает оценку как на уровне объекта, так и на уровне его частей, что позволяет проводить комплексный анализ по нескольким измерениям, а также детализированную оценку качества. Кроме того, мы расширяем оценку текстур за пределы эстетического вида, явно оценивая реалистичность материалов, уделяя внимание таким атрибутам, как альбедо, насыщенность и металличность. 2) Для поддержки этой системы мы создаем Hi3DBench — масштабный набор данных, включающий разнообразные 3D-активы и высококачественные аннотации, а также надежный многозадачный конвейер аннотирования. Мы также предлагаем автоматизированную систему оценки, основанную на гибридных 3D-представлениях. В частности, мы используем видео-представления для оценки на уровне объекта и материалов, чтобы улучшить моделирование пространственно-временной согласованности, а также применяем предобученные 3D-признаки для анализа на уровне частей. Многочисленные эксперименты показывают, что наш подход превосходит существующие метрики, основанные на изображениях, в моделировании 3D-характеристик и достигает лучшего соответствия человеческим предпочтениям, предлагая масштабируемую альтернативу ручной оценке. Страница проекта доступна по адресу https://zyh482.github.io/Hi3DEval/.

English

Despite rapid advances in 3D content generation, quality assessment for the generated 3D assets remains challenging. Existing methods mainly rely on image-based metrics and operate solely at the object level, limiting their ability to capture spatial coherence, material authenticity, and high-fidelity local details. 1) To address these challenges, we introduce Hi3DEval, a hierarchical evaluation framework tailored for 3D generative content. It combines both object-level and part-level evaluation, enabling holistic assessments across multiple dimensions as well as fine-grained quality analysis. Additionally, we extend texture evaluation beyond aesthetic appearance by explicitly assessing material realism, focusing on attributes such as albedo, saturation, and metallicness. 2) To support this framework, we construct Hi3DBench, a large-scale dataset comprising diverse 3D assets and high-quality annotations, accompanied by a reliable multi-agent annotation pipeline. We further propose a 3D-aware automated scoring system based on hybrid 3D representations. Specifically, we leverage video-based representations for object-level and material-subject evaluations to enhance modeling of spatio-temporal consistency and employ pretrained 3D features for part-level perception. Extensive experiments demonstrate that our approach outperforms existing image-based metrics in modeling 3D characteristics and achieves superior alignment with human preference, providing a scalable alternative to manual evaluations. The project page is available at https://zyh482.github.io/Hi3DEval/.