Heroverdenken van het Leren van Diverse Menselijke Voorkeuren via Hoofdcomponentenanalyse

Rethinking Diverse Human Preference Learning through Principal Component Analysis

February 18, 2025

Auteurs: Feng Luo, Rui Yang, Hao Sun, Chunyuan Deng, Jiarui Yao, Jingyan Shen, Huan Zhang, Hanjie Chen

cs.AI

Samenvatting

Het begrijpen van menselijke voorkeuren is cruciaal voor het verbeteren van foundationmodellen en het bouwen van gepersonaliseerde AI-systemen. Voorkeuren zijn echter van nature divers en complex, waardoor het voor traditionele beloningsmodellen moeilijk is om hun volledige reikwijdte vast te leggen. Hoewel fijnmazige voorkeursgegevens kunnen helpen, is het verzamelen ervan kostbaar en moeilijk op te schalen. In dit artikel introduceren we Decomposed Reward Models (DRMs), een nieuwe aanpak die diverse menselijke voorkeuren extraheert uit binaire vergelijkingen zonder dat fijnmazige annotaties nodig zijn. Onze belangrijkste inzicht is om menselijke voorkeuren als vectoren weer te geven en ze te analyseren met behulp van Principal Component Analysis (PCA). Door een dataset te construeren van embeddingverschillen tussen voorkeurs- en afgewezen reacties, identificeren DRMs orthogonale basisvectoren die verschillende aspecten van voorkeur vastleggen. Deze ontbonden beloningen kunnen flexibel worden gecombineerd om aan te sluiten bij verschillende gebruikersbehoeften, wat een interpreteerbaar en schaalbaar alternatief biedt voor traditionele beloningsmodellen. We demonstreren dat DRMs effectief betekenisvolle voorkeursdimensies (bijv. behulpzaamheid, veiligheid, humor) extraheren en zich aanpassen aan nieuwe gebruikers zonder aanvullende training. Onze resultaten benadrukken DRMs als een krachtig raamwerk voor gepersonaliseerde en interpreteerbare LLM-afstemming.

English

Understanding human preferences is crucial for improving foundation models and building personalized AI systems. However, preferences are inherently diverse and complex, making it difficult for traditional reward models to capture their full range. While fine-grained preference data can help, collecting it is expensive and hard to scale. In this paper, we introduce Decomposed Reward Models (DRMs), a novel approach that extracts diverse human preferences from binary comparisons without requiring fine-grained annotations. Our key insight is to represent human preferences as vectors and analyze them using Principal Component Analysis (PCA). By constructing a dataset of embedding differences between preferred and rejected responses, DRMs identify orthogonal basis vectors that capture distinct aspects of preference. These decomposed rewards can be flexibly combined to align with different user needs, offering an interpretable and scalable alternative to traditional reward models. We demonstrate that DRMs effectively extract meaningful preference dimensions (e.g., helpfulness, safety, humor) and adapt to new users without additional training. Our results highlight DRMs as a powerful framework for personalized and interpretable LLM alignment.