GPT-4V(ision) est un évaluateur aligné sur l'humain pour la génération de texte vers la 3D.

GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation

January 8, 2024

Auteurs: Tong Wu, Guandao Yang, Zhibing Li, Kai Zhang, Ziwei Liu, Leonidas Guibas, Dahua Lin, Gordon Wetzstein

cs.AI

Résumé

Malgré les récents progrès dans les méthodes de génération de texte-à-3D, il existe une absence notable de métriques d'évaluation fiables. Les métriques existantes se concentrent généralement sur un seul critère, comme la correspondance de l'asset avec le texte d'entrée. Ces métriques manquent de flexibilité pour s'adapter à différents critères d'évaluation et pourraient ne pas s'aligner sur les préférences humaines. La réalisation d'études de préférence utilisateur est une alternative qui offre à la fois adaptabilité et résultats alignés sur les humains. Cependant, les études utilisateur peuvent être très coûteuses à mettre à l'échelle. Cet article présente une métrique d'évaluation automatique, polyvalente et alignée sur les humains pour les modèles de génération de texte-à-3D. Pour ce faire, nous développons d'abord un générateur de prompts utilisant GPT-4V pour générer des prompts d'évaluation, qui servent d'entrée pour comparer les modèles de texte-à-3D. Nous concevons ensuite une méthode pour instruire GPT-4V à comparer deux assets 3D selon des critères définis par l'utilisateur. Enfin, nous utilisons ces résultats de comparaison par paires pour attribuer à ces modèles des classements Elo. Les résultats expérimentaux suggèrent que notre métrique s'aligne fortement avec les préférences humaines pour différents critères d'évaluation.

English

Despite recent advances in text-to-3D generative methods, there is a notable absence of reliable evaluation metrics. Existing metrics usually focus on a single criterion each, such as how well the asset aligned with the input text. These metrics lack the flexibility to generalize to different evaluation criteria and might not align well with human preferences. Conducting user preference studies is an alternative that offers both adaptability and human-aligned results. User studies, however, can be very expensive to scale. This paper presents an automatic, versatile, and human-aligned evaluation metric for text-to-3D generative models. To this end, we first develop a prompt generator using GPT-4V to generate evaluating prompts, which serve as input to compare text-to-3D models. We further design a method instructing GPT-4V to compare two 3D assets according to user-defined criteria. Finally, we use these pairwise comparison results to assign these models Elo ratings. Experimental results suggest our metric strongly align with human preference across different evaluation criteria.