Otimização Robusta de Preferências com Autoaperfeiçoamento

Resumo

Tanto os métodos online quanto offline de RLHF, como PPO e DPO, têm sido extremamente bem-sucedidos em alinhar a IA com as preferências humanas. Apesar de seu sucesso, os métodos existentes sofrem de um problema fundamental: sua solução ótima é altamente dependente da tarefa (ou seja, não é robusta a tarefas fora da distribuição (OOD)). Aqui, abordamos esse desafio propondo o Self-Improving Robust Preference Optimization (SRPO), uma estrutura prática e matematicamente fundamentada de RLHF offline que é completamente robusta a mudanças na tarefa. A ideia central do SRPO é enquadrar o problema de aprendizado a partir de preferências humanas como um processo de autoaperfeiçoamento, que pode ser expresso matematicamente em termos de um objetivo min-max que visa a otimização conjunta da política de autoaperfeiçoamento e da política gerativa de forma adversarial. A solução para esse problema de otimização é independente da tarefa de treinamento e, portanto, é robusta a suas mudanças. Em seguida, mostramos que esse objetivo pode ser reexpresso na forma de uma perda offline não adversarial, que pode ser otimizada usando técnicas padrão de otimização supervisionada em escala, sem a necessidade de um modelo de recompensa ou inferência online. Demonstramos a eficácia do SRPO em termos de Taxa de Vitória da IA (WR) contra conclusões humanas (GOLD). Em particular, quando o SRPO é avaliado no conjunto de dados OOD XSUM, ele supera o renomado DPO por uma margem clara de 15% após 5 auto-revisões, alcançando uma WR de 90%.

English

Both online and offline RLHF methods such as PPO and DPO have been extremely successful in aligning AI with human preferences. Despite their success, the existing methods suffer from a fundamental problem that their optimal solution is highly task-dependent (i.e., not robust to out-of-distribution (OOD) tasks). Here we address this challenge by proposing Self-Improving Robust Preference Optimization SRPO, a practical and mathematically principled offline RLHF framework that is completely robust to the changes in the task. The key idea of SRPO is to cast the problem of learning from human preferences as a self-improvement process, which can be mathematically expressed in terms of a min-max objective that aims at joint optimization of self-improvement policy and the generative policy in an adversarial fashion. The solution for this optimization problem is independent of the training task and thus it is robust to its changes. We then show that this objective can be re-expressed in the form of a non-adversarial offline loss which can be optimized using standard supervised optimization techniques at scale without any need for reward model and online inference. We show the effectiveness of SRPO in terms of AI Win-Rate (WR) against human (GOLD) completions. In particular, when SRPO is evaluated on the OOD XSUM dataset, it outperforms the celebrated DPO by a clear margin of 15% after 5 self-revisions, achieving WR of 90%.