O GPT-4V(ision) é um Avaliador Alinhado com Humanos para Geração de Texto para 3D.

GPT-4V(ision) is a Human-Aligned Evaluator for Text-to-3D Generation

January 8, 2024

Autores: Tong Wu, Guandao Yang, Zhibing Li, Kai Zhang, Ziwei Liu, Leonidas Guibas, Dahua Lin, Gordon Wetzstein

cs.AI

Resumo

Apesar dos avanços recentes nos métodos generativos de texto para 3D, há uma ausência notável de métricas de avaliação confiáveis. As métricas existentes geralmente se concentram em um único critério, como o quão bem o ativo se alinha com o texto de entrada. Essas métricas carecem de flexibilidade para generalizar diferentes critérios de avaliação e podem não estar bem alinhadas com as preferências humanas. Realizar estudos de preferência do usuário é uma alternativa que oferece tanto adaptabilidade quanto resultados alinhados com a percepção humana. No entanto, os estudos com usuários podem ser muito caros para escalar. Este artigo apresenta uma métrica de avaliação automática, versátil e alinhada com a percepção humana para modelos generativos de texto para 3D. Para isso, primeiro desenvolvemos um gerador de prompts usando GPT-4V para criar prompts de avaliação, que servem como entrada para comparar modelos de texto para 3D. Além disso, projetamos um método que instrui o GPT-4V a comparar dois ativos 3D de acordo com critérios definidos pelo usuário. Por fim, usamos os resultados dessas comparações pareadas para atribuir a esses modelos classificações Elo. Os resultados experimentais sugerem que nossa métrica está fortemente alinhada com a preferência humana em diferentes critérios de avaliação.

English

Despite recent advances in text-to-3D generative methods, there is a notable absence of reliable evaluation metrics. Existing metrics usually focus on a single criterion each, such as how well the asset aligned with the input text. These metrics lack the flexibility to generalize to different evaluation criteria and might not align well with human preferences. Conducting user preference studies is an alternative that offers both adaptability and human-aligned results. User studies, however, can be very expensive to scale. This paper presents an automatic, versatile, and human-aligned evaluation metric for text-to-3D generative models. To this end, we first develop a prompt generator using GPT-4V to generate evaluating prompts, which serve as input to compare text-to-3D models. We further design a method instructing GPT-4V to compare two 3D assets according to user-defined criteria. Finally, we use these pairwise comparison results to assign these models Elo ratings. Experimental results suggest our metric strongly align with human preference across different evaluation criteria.