Escalando la Evaluación Estética Personalizada a través de la Personalización del Vector de Tareas

Scaling Up Personalized Aesthetic Assessment via Task Vector Customization

July 9, 2024

Autores: Jooyeol Yun, Jaegul Choo

cs.AI

Resumen

La tarea de evaluación estética de imágenes personalizadas busca adaptar modelos de predicción de puntuación estética a las preferencias individuales con solo unos pocos datos proporcionados por el usuario. Sin embargo, la escalabilidad y capacidades de generalización de los enfoques actuales están considerablemente restringidas por su dependencia de una base de datos curada costosa. Para superar este desafío de escalabilidad de larga data, presentamos un enfoque único que aprovecha bases de datos fácilmente disponibles para evaluación estética de imágenes general e evaluación de calidad de imágenes. Específicamente, consideramos cada base de datos como una tarea de regresión de puntuación de imagen distinta que muestra diferentes grados de potencial de personalización. Al determinar combinaciones óptimas de vectores de tarea, conocidos por representar rasgos específicos de cada base de datos, creamos con éxito modelos personalizados para individuos. Este enfoque de integrar múltiples modelos nos permite aprovechar una cantidad sustancial de datos. Nuestros extensos experimentos demuestran la efectividad de nuestro enfoque en generalizar a dominios previamente no vistos, un desafío que los enfoques anteriores han luchado por lograr, lo que lo hace altamente aplicable a escenarios del mundo real. Nuestro enfoque novedoso avanza significativamente en el campo al ofrecer soluciones escalables para evaluación estética personalizada y establecer altos estándares para futuras investigaciones.

English

The task of personalized image aesthetic assessment seeks to tailor aesthetic score prediction models to match individual preferences with just a few user-provided inputs. However, the scalability and generalization capabilities of current approaches are considerably restricted by their reliance on an expensive curated database. To overcome this long-standing scalability challenge, we present a unique approach that leverages readily available databases for general image aesthetic assessment and image quality assessment. Specifically, we view each database as a distinct image score regression task that exhibits varying degrees of personalization potential. By determining optimal combinations of task vectors, known to represent specific traits of each database, we successfully create personalized models for individuals. This approach of integrating multiple models allows us to harness a substantial amount of data. Our extensive experiments demonstrate the effectiveness of our approach in generalizing to previously unseen domains-a challenge previous approaches have struggled to achieve-making it highly applicable to real-world scenarios. Our novel approach significantly advances the field by offering scalable solutions for personalized aesthetic assessment and establishing high standards for future research. https://yeolj00.github.io/personal-projects/personalized-aesthetics/