3D Arena: Открытая платформа для генеративной оценки 3D-моделей

3D Arena: An Open Platform for Generative 3D Evaluation

June 23, 2025

Авторы: Dylan Ebert

cs.AI

Аннотация

Оценка генеративных 3D-моделей остается сложной задачей из-за несоответствия между автоматическими метриками и восприятием качества человеком. Современные бенчмарки полагаются на метрики, основанные на изображениях, которые игнорируют 3D-структуру, или на геометрические меры, которые не учитывают визуальную привлекательность и практическую полезность. Чтобы устранить этот пробел, мы представляем 3D Arena — открытую платформу для оценки моделей генерации изображений в 3D через сбор предпочтений пользователей в масштабе с использованием парных сравнений. С момента запуска в июне 2024 года платформа собрала 123 243 голоса от 8 096 пользователей для 19 современных моделей, что делает ее крупнейшей оценкой человеческих предпочтений для генеративных 3D-моделей. Мы представляем набор данных iso3d, содержащий 100 оценочных запросов, и демонстрируем контроль качества, достигающий 99,75% подлинности пользователей благодаря статистическому обнаружению мошенничества. Наша система ранжирования на основе ELO обеспечивает надежную оценку моделей, делая платформу устоявшимся ресурсом для оценки. Анализируя данные о предпочтениях, мы выявляем закономерности в выборе пользователей. Наши результаты показывают предпочтения в визуальных характеристиках: выходные данные с использованием гауссовых сплатов имеют преимущество в 16,6 баллов ELO по сравнению с сетками, а текстурированные модели получают преимущество в 144,1 балла ELO по сравнению с моделями без текстур. Мы предлагаем рекомендации по улучшению методов оценки, включая многокритериальную оценку, ориентированную на задачи оценку и сравнение с учетом формата. Вовлечение сообщества делает 3D Arena эталоном в области, способствуя углублению понимания человеко-ориентированной оценки в генеративных 3D-моделях.

English

Evaluating Generative 3D models remains challenging due to misalignment between automated metrics and human perception of quality. Current benchmarks rely on image-based metrics that ignore 3D structure or geometric measures that fail to capture perceptual appeal and real-world utility. To address this gap, we present 3D Arena, an open platform for evaluating image-to-3D generation models through large-scale human preference collection using pairwise comparisons. Since launching in June 2024, the platform has collected 123,243 votes from 8,096 users across 19 state-of-the-art models, establishing the largest human preference evaluation for Generative 3D. We contribute the iso3d dataset of 100 evaluation prompts and demonstrate quality control achieving 99.75% user authenticity through statistical fraud detection. Our ELO-based ranking system provides reliable model assessment, with the platform becoming an established evaluation resource. Through analysis of this preference data, we present insights into human preference patterns. Our findings reveal preferences for visual presentation features, with Gaussian splat outputs achieving a 16.6 ELO advantage over meshes and textured models receiving a 144.1 ELO advantage over untextured models. We provide recommendations for improving evaluation methods, including multi-criteria assessment, task-oriented evaluation, and format-aware comparison. The platform's community engagement establishes 3D Arena as a benchmark for the field while advancing understanding of human-centered evaluation in Generative 3D.