GPT-4V(ision) выступает в качестве согласованного с человеком оценщика для генерации 3D-моделей из текста.

GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation

January 8, 2024

Авторы: Tong Wu, Guandao Yang, Zhibing Li, Kai Zhang, Ziwei Liu, Leonidas Guibas, Dahua Lin, Gordon Wetzstein

cs.AI

Аннотация

Несмотря на недавние достижения в методах генерации 3D-моделей из текста, наблюдается заметное отсутствие надежных метрик оценки. Существующие метрики обычно сосредоточены на одном критерии, например, на том, насколько хорошо модель соответствует входному тексту. Эти метрики не обладают гибкостью для обобщения на различные критерии оценки и могут не соответствовать человеческим предпочтениям. Проведение исследований с участием пользователей является альтернативой, которая предлагает как адаптивность, так и результаты, согласованные с человеческими предпочтениями. Однако пользовательские исследования могут быть очень дорогостоящими для масштабирования. В данной статье представлена автоматическая, универсальная и согласованная с человеческими предпочтениями метрика оценки для моделей генерации 3D-моделей из текста. Для этого мы сначала разрабатываем генератор подсказок с использованием GPT-4V для создания оценочных подсказок, которые служат входными данными для сравнения моделей генерации 3D-моделей из текста. Далее мы разрабатываем метод, который инструктирует GPT-4V сравнивать две 3D-модели в соответствии с пользовательскими критериями. Наконец, мы используем результаты попарного сравнения для присвоения этим моделям рейтингов Elo. Экспериментальные результаты показывают, что наша метрика сильно согласуется с человеческими предпочтениями при различных критериях оценки.

English

Despite recent advances in text-to-3D generative methods, there is a notable absence of reliable evaluation metrics. Existing metrics usually focus on a single criterion each, such as how well the asset aligned with the input text. These metrics lack the flexibility to generalize to different evaluation criteria and might not align well with human preferences. Conducting user preference studies is an alternative that offers both adaptability and human-aligned results. User studies, however, can be very expensive to scale. This paper presents an automatic, versatile, and human-aligned evaluation metric for text-to-3D generative models. To this end, we first develop a prompt generator using GPT-4V to generate evaluating prompts, which serve as input to compare text-to-3D models. We further design a method instructing GPT-4V to compare two 3D assets according to user-defined criteria. Finally, we use these pairwise comparison results to assign these models Elo ratings. Experimental results suggest our metric strongly align with human preference across different evaluation criteria.