Otimização Direta de Preferência Utilizando Restrições Esparsas ao Nível de Características

Direct Preference Optimization Using Sparse Feature-Level Constraints

November 12, 2024

Autores: Qingyu Yin, Chak Tou Leong, Hongbo Zhang, Minjun Zhu, Hanqi Yan, Qiang Zhang, Yulan He, Wenjie Li, Jun Wang, Yue Zhang, Linyi Yang

cs.AI

Resumo

O alinhamento de grandes modelos de linguagem (LLMs) com as preferências humanas continua sendo um desafio chave. Enquanto técnicas pós-treinamento como Aprendizado por Reforço a partir do Feedback Humano (RLHF) e Otimização Direta de Preferências (DPO) alcançaram sucesso notável, frequentemente introduzem ineficiências computacionais e instabilidade no treinamento. Neste artigo, propomos a Otimização de Preferências com Restrição a Nível de Característica (FPO), um método inovador projetado para simplificar o processo de alinhamento enquanto garante estabilidade. O FPO aproveita Autoencoders Esparsos (SAEs) pré-treinados e introduz restrições a nível de características, permitindo um alinhamento eficiente e com enfase na esparsidade. Nossa abordagem desfruta de eficiência ao utilizar características esparsas ativadas em um autoencoder esparsos bem treinado e a qualidade da divergência KL sequencial ao utilizar a referência offline a nível de características. Resultados experimentais em conjuntos de dados de referência demonstram que o FPO alcança uma melhoria absoluta de 5,08% na taxa de vitória com um custo computacional muito menor em comparação com as bases de referência de última geração, tornando-o uma solução promissora para alinhamentos eficientes e controláveis de LLMs.

English

The alignment of large language models (LLMs) with human preferences remains a key challenge. While post-training techniques like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO) have achieved notable success, they often introduce computational inefficiencies and training instability. In this paper, we propose Feature-level constrained Preference Optimization (FPO), a novel method designed to simplify the alignment process while ensuring stability. FPO leverages pre-trained Sparse Autoencoders (SAEs) and introduces feature-level constraints, allowing for efficient, sparsity-enforced alignment. Our approach enjoys efficiency by using sparse features activated in a well-trained sparse autoencoder and the quality of sequential KL divergence by using the feature-level offline reference. Experimental results on benchmark datasets demonstrate that FPO achieves a 5.08% absolute improvement in win rate with much lower computational cost compared to state-of-the-art baselines, making it a promising solution for efficient and controllable LLM alignments.