SePPO: 확산 정렬을 위한 반정책 선호 최적화

SePPO: Semi-Policy Preference Optimization for Diffusion Alignment

October 7, 2024

저자: Daoan Zhang, Guangchen Lan, Dong-Jun Han, Wenlin Yao, Xiaoman Pan, Hongming Zhang, Mingxiao Li, Pengcheng Chen, Yu Dong, Christopher Brinton, Jiebo Luo

cs.AI

초록

인간 피드백으로부터 강화 학습 (RLHF) 방법은 시각 생성을 위한 확산 모델 (DMs)을 세밀하게 조정하는 방법으로 등장하고 있습니다. 그러나 일반적으로 사용되는 온-정책 전략은 보상 모델의 일반화 능력에 제한을 받는 반면, 오프-정책 접근 방식은 특히 시각 생성 작업에서 얻기 어려운 대량의 짝지어진 인간 주석 데이터를 필요로 합니다. 온-정책 및 오프-정책 RLHF의 한계를 해결하기 위해, 우리는 보상 모델이나 짝지어진 인간 주석 데이터에 의존하지 않고 DMs를 선호에 맞추는 선호 최적화 방법을 제안합니다. 구체적으로, 우리는 Semi-Policy Preference Optimization (SePPO) 방법을 소개합니다. SePPO는 이전 체크포인트를 참조 모델로 활용하면서 이를 사용하여 "패배 이미지"를 선호 쌍에서 대체하는 온-정책 참조 샘플을 생성합니다. 이 접근 방식을 통해 우리는 오프-정책 "승리 이미지"만을 사용하여 최적화할 수 있습니다. 더 나아가, 정책 공간에서 탐색을 확장하는 참조 모델 선택 전략을 설계합니다. 특히, 우리는 참조 샘플을 단순히 학습을 위한 부정적 예로 취급하지 않습니다. 대신, 참조 샘플이 승리 이미지인지 패배 이미지인지 평가하기 위한 기준을 설계하여 모델이 생성된 참조 샘플에서 선택적으로 학습할 수 있도록 합니다. 이 접근 방식은 참조 샘플 품질의 불확실성으로 인한 성능 저하를 완화시킵니다. 우리는 SePPO를 텍스트-이미지 및 텍스트-비디오 벤치마크에서 검증합니다. SePPO는 텍스트-이미지 벤치마크에서 모든 이전 접근 방법을 능가하며, 텍스트-비디오 벤치마크에서도 우수한 성능을 보여줍니다. 코드는 https://github.com/DwanZhang-AI/SePPO에서 공개될 예정입니다.

English

Reinforcement learning from human feedback (RLHF) methods are emerging as a way to fine-tune diffusion models (DMs) for visual generation. However, commonly used on-policy strategies are limited by the generalization capability of the reward model, while off-policy approaches require large amounts of difficult-to-obtain paired human-annotated data, particularly in visual generation tasks. To address the limitations of both on- and off-policy RLHF, we propose a preference optimization method that aligns DMs with preferences without relying on reward models or paired human-annotated data. Specifically, we introduce a Semi-Policy Preference Optimization (SePPO) method. SePPO leverages previous checkpoints as reference models while using them to generate on-policy reference samples, which replace "losing images" in preference pairs. This approach allows us to optimize using only off-policy "winning images." Furthermore, we design a strategy for reference model selection that expands the exploration in the policy space. Notably, we do not simply treat reference samples as negative examples for learning. Instead, we design an anchor-based criterion to assess whether the reference samples are likely to be winning or losing images, allowing the model to selectively learn from the generated reference samples. This approach mitigates performance degradation caused by the uncertainty in reference sample quality. We validate SePPO across both text-to-image and text-to-video benchmarks. SePPO surpasses all previous approaches on the text-to-image benchmarks and also demonstrates outstanding performance on the text-to-video benchmarks. Code will be released in https://github.com/DwanZhang-AI/SePPO.