작업 벡터 맞춤화를 통한 개인화된 미적 평가의 확장
Scaling Up Personalized Aesthetic Assessment via Task Vector Customization
July 9, 2024
저자: Jooyeol Yun, Jaegul Choo
cs.AI
초록
개인화된 이미지 미적 평가 과제는 단 몇 가지 사용자 입력만으로도 개인의 선호도에 맞춘 미적 점수 예측 모델을 조정하는 것을 목표로 합니다. 그러나 현재 접근법들은 비용이 많이 드는 정제된 데이터베이스에 의존함으로써 확장성과 일반화 능력이 상당히 제한되고 있습니다. 이러한 오랜 확장성 문제를 극복하기 위해, 우리는 일반적인 이미지 미적 평가와 이미지 품질 평가를 위해 쉽게 이용 가능한 데이터베이스를 활용하는 독창적인 접근법을 제시합니다. 구체적으로, 우리는 각 데이터베이스를 개인화 가능성이 다양한 독립적인 이미지 점수 회귀 과제로 간주합니다. 각 데이터베이스의 특정 특성을 나타내는 것으로 알려진 과제 벡터들의 최적 조합을 결정함으로써, 우리는 개인 맞춤형 모델을 성공적으로 생성합니다. 이러한 다중 모델 통합 접근법은 상당한 양의 데이터를 활용할 수 있게 해줍니다. 우리의 광범위한 실험은 이전 접근법들이 달성하기 어려웠던, 이전에 보지 못한 도메인으로의 일반화에서 우리 접근법의 효과성을 입증하며, 이를 실제 시나리오에 매우 적용 가능하게 만듭니다. 우리의 새로운 접근법은 개인화된 미적 평가를 위한 확장 가능한 솔루션을 제공하고 향후 연구를 위한 높은 기준을 설정함으로써 이 분야를 크게 발전시킵니다.
https://yeolj00.github.io/personal-projects/personalized-aesthetics/
English
The task of personalized image aesthetic assessment seeks to tailor aesthetic
score prediction models to match individual preferences with just a few
user-provided inputs. However, the scalability and generalization capabilities
of current approaches are considerably restricted by their reliance on an
expensive curated database. To overcome this long-standing scalability
challenge, we present a unique approach that leverages readily available
databases for general image aesthetic assessment and image quality assessment.
Specifically, we view each database as a distinct image score regression task
that exhibits varying degrees of personalization potential. By determining
optimal combinations of task vectors, known to represent specific traits of
each database, we successfully create personalized models for individuals. This
approach of integrating multiple models allows us to harness a substantial
amount of data. Our extensive experiments demonstrate the effectiveness of our
approach in generalizing to previously unseen domains-a challenge previous
approaches have struggled to achieve-making it highly applicable to real-world
scenarios. Our novel approach significantly advances the field by offering
scalable solutions for personalized aesthetic assessment and establishing high
standards for future research.
https://yeolj00.github.io/personal-projects/personalized-aesthetics/