Skalierung der personalisierten ästhetischen Bewertung durch die Anpassung des Aufgabenvektors

Scaling Up Personalized Aesthetic Assessment via Task Vector Customization

July 9, 2024

Autoren: Jooyeol Yun, Jaegul Choo

cs.AI

Zusammenfassung

Die Aufgabe der personalisierten Bewertung von Bildästhetik zielt darauf ab, ästhetische Bewertungsmodelle an individuelle Vorlieben anzupassen, basierend auf nur wenigen vom Benutzer bereitgestellten Eingaben. Die Skalierbarkeit und Generalisierungsfähigkeiten der aktuellen Ansätze sind jedoch erheblich eingeschränkt durch ihre Abhängigkeit von einer teuren kuratierten Datenbank. Um diese langjährige Skalierbarkeitsherausforderung zu überwinden, präsentieren wir einen einzigartigen Ansatz, der auf leicht verfügbaren Datenbanken für die allgemeine Bewertung der Bildästhetik und die Bewertung der Bildqualität basiert. Konkret betrachten wir jede Datenbank als eine eigenständige Regressionsaufgabe für Bildbewertungen, die unterschiedliche Grade an Personalisierungspotenzial aufweisen. Durch die Bestimmung optimaler Kombinationen von Aufgabenvektoren, die spezifische Merkmale jeder Datenbank repräsentieren, erstellen wir erfolgreich personalisierte Modelle für Individuen. Dieser Ansatz, der die Integration mehrerer Modelle ermöglicht, erlaubt es uns, eine beträchtliche Menge an Daten zu nutzen. Unsere umfangreichen Experimente zeigen die Wirksamkeit unseres Ansatzes bei der Verallgemeinerung auf zuvor nicht gesehene Domänen - eine Herausforderung, an der frühere Ansätze zu scheitern drohten - und machen ihn daher äußerst anwendbar für reale Szenarien. Unser neuartiger Ansatz trägt signifikant zur Weiterentwicklung des Feldes bei, indem er skalierbare Lösungen für die personalisierte ästhetische Bewertung bietet und hohe Standards für zukünftige Forschung etabliert.

English

The task of personalized image aesthetic assessment seeks to tailor aesthetic score prediction models to match individual preferences with just a few user-provided inputs. However, the scalability and generalization capabilities of current approaches are considerably restricted by their reliance on an expensive curated database. To overcome this long-standing scalability challenge, we present a unique approach that leverages readily available databases for general image aesthetic assessment and image quality assessment. Specifically, we view each database as a distinct image score regression task that exhibits varying degrees of personalization potential. By determining optimal combinations of task vectors, known to represent specific traits of each database, we successfully create personalized models for individuals. This approach of integrating multiple models allows us to harness a substantial amount of data. Our extensive experiments demonstrate the effectiveness of our approach in generalizing to previously unseen domains-a challenge previous approaches have struggled to achieve-making it highly applicable to real-world scenarios. Our novel approach significantly advances the field by offering scalable solutions for personalized aesthetic assessment and establishing high standards for future research. https://yeolj00.github.io/personal-projects/personalized-aesthetics/