Replanteamiento del Aprendizaje de Preferencias Humanas Diversas mediante Análisis de Componentes Principales

Rethinking Diverse Human Preference Learning through Principal Component Analysis

February 18, 2025

Autores: Feng Luo, Rui Yang, Hao Sun, Chunyuan Deng, Jiarui Yao, Jingyan Shen, Huan Zhang, Hanjie Chen

cs.AI

Resumen

Comprender las preferencias humanas es crucial para mejorar los modelos base y construir sistemas de IA personalizados. Sin embargo, las preferencias son inherentemente diversas y complejas, lo que dificulta que los modelos de recompensa tradicionales capturen su gama completa. Aunque los datos de preferencias detallados pueden ser útiles, su recopilación es costosa y difícil de escalar. En este artículo, presentamos los Modelos de Recompensa Descompuestos (DRMs, por sus siglas en inglés), un enfoque novedoso que extrae diversas preferencias humanas a partir de comparaciones binarias sin necesidad de anotaciones detalladas. Nuestra idea clave es representar las preferencias humanas como vectores y analizarlas mediante el Análisis de Componentes Principales (PCA, por sus siglas en inglés). Al construir un conjunto de datos de diferencias de incrustaciones entre respuestas preferidas y rechazadas, los DRMs identifican vectores base ortogonales que capturan distintos aspectos de las preferencias. Estas recompensas descompuestas pueden combinarse de manera flexible para alinearse con las necesidades de diferentes usuarios, ofreciendo una alternativa interpretable y escalable a los modelos de recompensa tradicionales. Demostramos que los DRMs extraen eficazmente dimensiones significativas de preferencia (por ejemplo, utilidad, seguridad, humor) y se adaptan a nuevos usuarios sin necesidad de entrenamiento adicional. Nuestros resultados destacan a los DRMs como un marco poderoso para la alineación personalizada e interpretable de modelos de lenguaje grandes (LLMs).

English

Understanding human preferences is crucial for improving foundation models and building personalized AI systems. However, preferences are inherently diverse and complex, making it difficult for traditional reward models to capture their full range. While fine-grained preference data can help, collecting it is expensive and hard to scale. In this paper, we introduce Decomposed Reward Models (DRMs), a novel approach that extracts diverse human preferences from binary comparisons without requiring fine-grained annotations. Our key insight is to represent human preferences as vectors and analyze them using Principal Component Analysis (PCA). By constructing a dataset of embedding differences between preferred and rejected responses, DRMs identify orthogonal basis vectors that capture distinct aspects of preference. These decomposed rewards can be flexibly combined to align with different user needs, offering an interpretable and scalable alternative to traditional reward models. We demonstrate that DRMs effectively extract meaningful preference dimensions (e.g., helpfulness, safety, humor) and adapt to new users without additional training. Our results highlight DRMs as a powerful framework for personalized and interpretable LLM alignment.