PopAlign: Diversificando Patrones Contrastantes para una Alineación más Integral

PopAlign: Diversifying Contrasting Patterns for a More Comprehensive Alignment

October 17, 2024

Autores: Zekun Moore Wang, Shawn Wang, Kang Zhu, Jiaheng Liu, Ke Xu, Jie Fu, Wangchunshu Zhou, Wenhao Huang

cs.AI

Resumen

La alineación de modelos de lenguaje grandes (LLMs) implica entrenar modelos en pares de salida preferencia-contrastivos para ajustar sus respuestas de acuerdo a las preferencias humanas. Para obtener tales pares contrastivos, métodos tradicionales como RLHF y RLAIF se basan en patrones de contraste limitados, como variar variantes del modelo o temperaturas de decodificación. Esta singularidad conlleva a dos problemas: (1) la alineación no es exhaustiva; y por lo tanto (2) los modelos son susceptibles a ataques de jailbreaking. Para abordar estos problemas, investigamos cómo construir patrones de contraste más completos y diversificados para mejorar los datos de preferencia (RQ1) y verificar el impacto de la diversificación de patrones de contraste en la alineación del modelo (RQ2). Para RQ1, proponemos PopAlign, un marco que integra patrones de contraste diversificados a través del nivel de la consigna, del modelo y del pipeline, introduciendo seis estrategias de contraste que no requieren procedimientos adicionales de etiquetado de retroalimentación. En cuanto a RQ2, realizamos experimentos exhaustivos que demuestran que PopAlign supera significativamente a los métodos existentes, lo que conduce a una alineación más completa.

English

Alignment of large language models (LLMs) involves training models on preference-contrastive output pairs to adjust their responses according to human preferences. To obtain such contrastive pairs, traditional methods like RLHF and RLAIF rely on limited contrasting patterns, such as varying model variants or decoding temperatures. This singularity leads to two issues: (1) alignment is not comprehensive; and thereby (2) models are susceptible to jailbreaking attacks. To address these issues, we investigate how to construct more comprehensive and diversified contrasting patterns to enhance preference data (RQ1) and verify the impact of the diversification of contrasting patterns on model alignment (RQ2). For RQ1, we propose PopAlign, a framework that integrates diversified contrasting patterns across the prompt, model, and pipeline levels, introducing six contrasting strategies that do not require additional feedback labeling procedures. Regarding RQ2, we conduct thorough experiments demonstrating that PopAlign significantly outperforms existing methods, leading to more comprehensive alignment.