タスクベクトルカスタマイズによるパーソナライズド美的評価のスケールアップ

Scaling Up Personalized Aesthetic Assessment via Task Vector Customization

July 9, 2024

著者: Jooyeol Yun, Jaegul Choo

cs.AI

要旨

個人的な画像美的評価のタスクは、ユーザーが提供したわずかな入力に基づいて、個人の好みに合致する美的スコア予測モデルを調整することを目指しています。しかし、現在のアプローチのスケーラビリティと汎化能力は、高価なキュレーションデータベースへの依存によって大幅に制限されています。この長年のスケーラビリティの課題を克服するため、私たちは一般的な画像美的評価と画像品質評価のために容易に利用可能なデータベースを活用する独自のアプローチを提案します。具体的には、各データベースを個別の画像スコア回帰タスクとして見なし、それぞれが異なる程度の個人化の可能性を示すものとします。各データベースの特定の特性を表すタスクベクトルの最適な組み合わせを決定することで、個人向けのモデルを成功裏に作成します。この複数のモデルを統合するアプローチにより、大量のデータを活用することが可能になります。私たちの広範な実験は、このアプローチがこれまでのアプローチが苦戦してきた未見のドメインへの汎化において有効であることを示しており、実世界のシナリオに非常に適用可能であることを証明しています。私たちの新しいアプローチは、個人的な美的評価のためのスケーラブルなソリューションを提供し、将来の研究のための高い基準を確立することで、この分野を大きく前進させます。 https://yeolj00.github.io/personal-projects/personalized-aesthetics/

English

The task of personalized image aesthetic assessment seeks to tailor aesthetic score prediction models to match individual preferences with just a few user-provided inputs. However, the scalability and generalization capabilities of current approaches are considerably restricted by their reliance on an expensive curated database. To overcome this long-standing scalability challenge, we present a unique approach that leverages readily available databases for general image aesthetic assessment and image quality assessment. Specifically, we view each database as a distinct image score regression task that exhibits varying degrees of personalization potential. By determining optimal combinations of task vectors, known to represent specific traits of each database, we successfully create personalized models for individuals. This approach of integrating multiple models allows us to harness a substantial amount of data. Our extensive experiments demonstrate the effectiveness of our approach in generalizing to previously unseen domains-a challenge previous approaches have struggled to achieve-making it highly applicable to real-world scenarios. Our novel approach significantly advances the field by offering scalable solutions for personalized aesthetic assessment and establishing high standards for future research. https://yeolj00.github.io/personal-projects/personalized-aesthetics/