Optimización Directa de Preferencias Utilizando Restricciones Escasas a Nivel de Características

Direct Preference Optimization Using Sparse Feature-Level Constraints

November 12, 2024

Autores: Qingyu Yin, Chak Tou Leong, Hongbo Zhang, Minjun Zhu, Hanqi Yan, Qiang Zhang, Yulan He, Wenjie Li, Jun Wang, Yue Zhang, Linyi Yang

cs.AI

Resumen

La alineación de grandes modelos de lenguaje (LLMs) con las preferencias humanas sigue siendo un desafío clave. Si bien técnicas posteriores al entrenamiento como el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y la Optimización Directa de Preferencias (DPO) han logrado un éxito notable, a menudo introducen ineficiencias computacionales e inestabilidad en el entrenamiento. En este artículo, proponemos la Optimización de Preferencias a Nivel de Características (FPO, por sus siglas en inglés), un método novedoso diseñado para simplificar el proceso de alineación asegurando la estabilidad. FPO aprovecha Autoencoders Dispersos (SAEs) pre-entrenados e introduce restricciones a nivel de características, lo que permite una alineación eficiente y forzada por la dispersión. Nuestro enfoque logra eficiencia al utilizar características dispersas activadas en un autoencoder disperso bien entrenado y la calidad de la divergencia KL secuencial al utilizar la referencia offline a nivel de características. Los resultados experimentales en conjuntos de datos de referencia demuestran que FPO logra una mejora absoluta del 5.08% en la tasa de victorias con un costo computacional mucho menor en comparación con los baselines de vanguardia, lo que lo convierte en una solución prometedora para alineaciones eficientes y controlables de LLMs.

English

The alignment of large language models (LLMs) with human preferences remains a key challenge. While post-training techniques like Reinforcement Learning from Human Feedback (RLHF) and Direct Preference Optimization (DPO) have achieved notable success, they often introduce computational inefficiencies and training instability. In this paper, we propose Feature-level constrained Preference Optimization (FPO), a novel method designed to simplify the alignment process while ensuring stability. FPO leverages pre-trained Sparse Autoencoders (SAEs) and introduces feature-level constraints, allowing for efficient, sparsity-enforced alignment. Our approach enjoys efficiency by using sparse features activated in a well-trained sparse autoencoder and the quality of sequential KL divergence by using the feature-level offline reference. Experimental results on benchmark datasets demonstrate that FPO achieves a 5.08% absolute improvement in win rate with much lower computational cost compared to state-of-the-art baselines, making it a promising solution for efficient and controllable LLM alignments.