Repensando o Aprendizado de Preferências Humanas Diversas por meio de Análise de Componentes Principais

Rethinking Diverse Human Preference Learning through Principal Component Analysis

February 18, 2025

Autores: Feng Luo, Rui Yang, Hao Sun, Chunyuan Deng, Jiarui Yao, Jingyan Shen, Huan Zhang, Hanjie Chen

cs.AI

Resumo

Compreender as preferências humanas é crucial para aprimorar modelos de base e construir sistemas de IA personalizados. No entanto, as preferências são inerentemente diversas e complexas, tornando difícil para os modelos de recompensa tradicionais capturar toda a sua amplitude. Embora dados detalhados de preferência possam ajudar, coletá-los é caro e difícil de escalar. Neste artigo, apresentamos os Modelos de Recompensa Decompostos (DRMs, na sigla em inglês), uma abordagem inovadora que extrai diversas preferências humanas a partir de comparações binárias, sem a necessidade de anotações detalhadas. Nossa principal percepção é representar as preferências humanas como vetores e analisá-las usando Análise de Componentes Principais (PCA). Ao construir um conjunto de dados de diferenças de embeddings entre respostas preferidas e rejeitadas, os DRMs identificam vetores de base ortogonais que capturam aspectos distintos das preferências. Essas recompensas decompostas podem ser combinadas de forma flexível para alinhar-se com diferentes necessidades dos usuários, oferecendo uma alternativa interpretável e escalável aos modelos de recompensa tradicionais. Demonstramos que os DRMs extraem efetivamente dimensões significativas de preferência (por exemplo, utilidade, segurança, humor) e se adaptam a novos usuários sem treinamento adicional. Nossos resultados destacam os DRMs como uma estrutura poderosa para o alinhamento personalizado e interpretável de modelos de linguagem de grande escala (LLMs).

English

Understanding human preferences is crucial for improving foundation models and building personalized AI systems. However, preferences are inherently diverse and complex, making it difficult for traditional reward models to capture their full range. While fine-grained preference data can help, collecting it is expensive and hard to scale. In this paper, we introduce Decomposed Reward Models (DRMs), a novel approach that extracts diverse human preferences from binary comparisons without requiring fine-grained annotations. Our key insight is to represent human preferences as vectors and analyze them using Principal Component Analysis (PCA). By constructing a dataset of embedding differences between preferred and rejected responses, DRMs identify orthogonal basis vectors that capture distinct aspects of preference. These decomposed rewards can be flexibly combined to align with different user needs, offering an interpretable and scalable alternative to traditional reward models. We demonstrate that DRMs effectively extract meaningful preference dimensions (e.g., helpfulness, safety, humor) and adapt to new users without additional training. Our results highlight DRMs as a powerful framework for personalized and interpretable LLM alignment.