HPSv3：広範な人間の嗜好スコアに向けて

HPSv3: Towards Wide-Spectrum Human Preference Score

August 5, 2025

著者: Yuhang Ma, Xiaoshi Wu, Keqiang Sun, Hongsheng Li

cs.AI

要旨

テキストから画像を生成するモデルの評価には、人間の知覚との整合性が求められる。しかし、既存の人間中心の評価指標は、データカバレッジの限界、最適でない特徴抽出、非効率な損失関数によって制約を受けている。これらの課題に対処するため、我々はHuman Preference Score v3（HPSv3）を提案する。(1) 我々はHPDv3を公開した。これは、最先端の生成モデルから低品質から高品質までの実世界の画像までを含む、108万のテキスト-画像ペアと117万の注釈付きペアワイズ比較を統合した、初の広範な人間選好データセットである。(2) 我々は、不確実性を考慮したランキング損失を用いて訓練されたVLMベースの選好モデルを導入し、細かいランキングを実現した。さらに、Chain-of-Human-Preference（CoHP）を提案する。これは、追加データなしで画像品質を向上させる反復的な画像改良手法であり、各ステップで最良の画像を選択するためにHPSv3を使用する。大規模な実験により、HPSv3が広範な画像評価のための堅牢な指標として機能し、CoHPが画像生成品質を向上させるための効率的で人間に整合したアプローチを提供することが示された。コードとデータセットはHPSv3ホームページで公開されている。

English

Evaluating text-to-image generation models requires alignment with human perception, yet existing human-centric metrics are constrained by limited data coverage, suboptimal feature extraction, and inefficient loss functions. To address these challenges, we introduce Human Preference Score v3 (HPSv3). (1) We release HPDv3, the first wide-spectrum human preference dataset integrating 1.08M text-image pairs and 1.17M annotated pairwise comparisons from state-of-the-art generative models and low to high-quality real-world images. (2) We introduce a VLM-based preference model trained using an uncertainty-aware ranking loss for fine-grained ranking. Besides, we propose Chain-of-Human-Preference (CoHP), an iterative image refinement method that enhances quality without extra data, using HPSv3 to select the best image at each step. Extensive experiments demonstrate that HPSv3 serves as a robust metric for wide-spectrum image evaluation, and CoHP offers an efficient and human-aligned approach to improve image generation quality. The code and dataset are available at the HPSv3 Homepage.