Repenser l'apprentissage des préférences humaines diverses à travers l'analyse en composantes principales

Rethinking Diverse Human Preference Learning through Principal Component Analysis

February 18, 2025

Auteurs: Feng Luo, Rui Yang, Hao Sun, Chunyuan Deng, Jiarui Yao, Jingyan Shen, Huan Zhang, Hanjie Chen

cs.AI

Résumé

Comprendre les préférences humaines est crucial pour améliorer les modèles de base et construire des systèmes d'IA personnalisés. Cependant, les préférences sont intrinsèquement diverses et complexes, ce qui rend difficile pour les modèles de récompense traditionnels de capturer toute leur étendue. Bien que des données de préférences granulaires puissent aider, leur collecte est coûteuse et difficile à mettre à l'échelle. Dans cet article, nous introduisons les Modèles de Récompense Décomposés (DRMs), une approche novatrice qui extrait des préférences humaines diverses à partir de comparaisons binaires sans nécessiter d'annotations granulaires. Notre idée clé est de représenter les préférences humaines sous forme de vecteurs et de les analyser en utilisant l'Analyse en Composantes Principales (PCA). En construisant un ensemble de données de différences d'embeddings entre les réponses préférées et rejetées, les DRMs identifient des vecteurs de base orthogonaux qui capturent des aspects distincts des préférences. Ces récompenses décomposées peuvent être combinées de manière flexible pour s'aligner sur différents besoins des utilisateurs, offrant une alternative interprétable et scalable aux modèles de récompense traditionnels. Nous démontrons que les DRMs extraient efficacement des dimensions de préférences significatives (par exemple, l'utilité, la sécurité, l'humour) et s'adaptent à de nouveaux utilisateurs sans entraînement supplémentaire. Nos résultats mettent en évidence les DRMs comme un cadre puissant pour l'alignement personnalisé et interprétable des modèles de langage de grande taille (LLM).

English

Understanding human preferences is crucial for improving foundation models and building personalized AI systems. However, preferences are inherently diverse and complex, making it difficult for traditional reward models to capture their full range. While fine-grained preference data can help, collecting it is expensive and hard to scale. In this paper, we introduce Decomposed Reward Models (DRMs), a novel approach that extracts diverse human preferences from binary comparisons without requiring fine-grained annotations. Our key insight is to represent human preferences as vectors and analyze them using Principal Component Analysis (PCA). By constructing a dataset of embedding differences between preferred and rejected responses, DRMs identify orthogonal basis vectors that capture distinct aspects of preference. These decomposed rewards can be flexibly combined to align with different user needs, offering an interpretable and scalable alternative to traditional reward models. We demonstrate that DRMs effectively extract meaningful preference dimensions (e.g., helpfulness, safety, humor) and adapt to new users without additional training. Our results highlight DRMs as a powerful framework for personalized and interpretable LLM alignment.