HPSv3 : Vers une mesure large spectre des préférences humaines

HPSv3: Towards Wide-Spectrum Human Preference Score

August 5, 2025

papers.authors: Yuhang Ma, Xiaoshi Wu, Keqiang Sun, Hongsheng Li

cs.AI

papers.abstract

L'évaluation des modèles de génération texte-image nécessite un alignement avec la perception humaine, mais les métriques centrées sur l'homme existantes sont limitées par une couverture de données restreinte, une extraction de caractéristiques sous-optimale et des fonctions de perte inefficaces. Pour relever ces défis, nous introduisons le Human Preference Score v3 (HPSv3). (1) Nous publions HPDv3, le premier ensemble de données à large spectre sur les préférences humaines, intégrant 1,08 million de paires texte-image et 1,17 million de comparaisons par paires annotées, provenant de modèles génératifs de pointe et d'images réelles de qualité variée. (2) Nous présentons un modèle de préférence basé sur un VLM (Vision-Language Model), entraîné à l'aide d'une fonction de perte de classement prenant en compte l'incertitude pour un classement fin. Par ailleurs, nous proposons Chain-of-Human-Preference (CoHP), une méthode itérative de raffinement d'images qui améliore la qualité sans données supplémentaires, en utilisant HPSv3 pour sélectionner la meilleure image à chaque étape. Des expériences approfondies démontrent que HPSv3 constitue une métrique robuste pour l'évaluation d'images à large spectre, et que CoHP offre une approche efficace et alignée sur les préférences humaines pour améliorer la qualité de la génération d'images. Le code et l'ensemble de données sont disponibles sur la page d'accueil de HPSv3.

English

Evaluating text-to-image generation models requires alignment with human perception, yet existing human-centric metrics are constrained by limited data coverage, suboptimal feature extraction, and inefficient loss functions. To address these challenges, we introduce Human Preference Score v3 (HPSv3). (1) We release HPDv3, the first wide-spectrum human preference dataset integrating 1.08M text-image pairs and 1.17M annotated pairwise comparisons from state-of-the-art generative models and low to high-quality real-world images. (2) We introduce a VLM-based preference model trained using an uncertainty-aware ranking loss for fine-grained ranking. Besides, we propose Chain-of-Human-Preference (CoHP), an iterative image refinement method that enhances quality without extra data, using HPSv3 to select the best image at each step. Extensive experiments demonstrate that HPSv3 serves as a robust metric for wide-spectrum image evaluation, and CoHP offers an efficient and human-aligned approach to improve image generation quality. The code and dataset are available at the HPSv3 Homepage.