HPSv3: Hacia una Puntuación de Preferencia Humana de Amplio Espectro

HPSv3: Towards Wide-Spectrum Human Preference Score

August 5, 2025

Autores: Yuhang Ma, Xiaoshi Wu, Keqiang Sun, Hongsheng Li

cs.AI

Resumen

La evaluación de modelos de generación de texto a imagen requiere una alineación con la percepción humana, sin embargo, las métricas centradas en el ser humano existentes están limitadas por una cobertura de datos reducida, una extracción de características subóptima y funciones de pérdida ineficientes. Para abordar estos desafíos, presentamos el Human Preference Score v3 (HPSv3). (1) Publicamos HPDv3, el primer conjunto de datos de preferencias humanas de amplio espectro que integra 1.08 millones de pares de texto-imagen y 1.17 millones de comparaciones pareadas anotadas, provenientes de modelos generativos de última generación y de imágenes del mundo real de baja a alta calidad. (2) Introducimos un modelo de preferencias basado en VLM (Vision-Language Model) entrenado utilizando una función de pérdida de clasificación consciente de la incertidumbre para una clasificación de grano fino. Además, proponemos Chain-of-Human-Preference (CoHP), un método iterativo de refinamiento de imágenes que mejora la calidad sin necesidad de datos adicionales, utilizando HPSv3 para seleccionar la mejor imagen en cada paso. Experimentos extensos demuestran que HPSv3 sirve como una métrica robusta para la evaluación de imágenes de amplio espectro, y que CoHP ofrece un enfoque eficiente y alineado con las preferencias humanas para mejorar la calidad de la generación de imágenes. El código y el conjunto de datos están disponibles en la página principal de HPSv3.

English

Evaluating text-to-image generation models requires alignment with human perception, yet existing human-centric metrics are constrained by limited data coverage, suboptimal feature extraction, and inefficient loss functions. To address these challenges, we introduce Human Preference Score v3 (HPSv3). (1) We release HPDv3, the first wide-spectrum human preference dataset integrating 1.08M text-image pairs and 1.17M annotated pairwise comparisons from state-of-the-art generative models and low to high-quality real-world images. (2) We introduce a VLM-based preference model trained using an uncertainty-aware ranking loss for fine-grained ranking. Besides, we propose Chain-of-Human-Preference (CoHP), an iterative image refinement method that enhances quality without extra data, using HPSv3 to select the best image at each step. Extensive experiments demonstrate that HPSv3 serves as a robust metric for wide-spectrum image evaluation, and CoHP offers an efficient and human-aligned approach to improve image generation quality. The code and dataset are available at the HPSv3 Homepage.