Otimização de Preferência de Autoconsistência

Self-Consistency Preference Optimization

November 6, 2024

Autores: Archiki Prasad, Weizhe Yuan, Richard Yuanzhe Pang, Jing Xu, Maryam Fazel-Zarandi, Mohit Bansal, Sainbayar Sukhbaatar, Jason Weston, Jane Yu

cs.AI

Resumo

A autoalinhamento, em que os modelos aprendem a melhorar-se sem anotação humana, é uma área de pesquisa em rápido crescimento. No entanto, as técnicas existentes frequentemente falham em melhorar tarefas de raciocínio complexas devido à dificuldade de atribuir recompensas corretas. Uma abordagem ortogonal conhecida por melhorar a correção é a autoconsistência, um método aplicado no momento da inferência com base em múltiplas amostragens para encontrar a resposta mais consistente. Neste trabalho, estendemos o conceito de autoconsistência para auxiliar no treinamento de modelos. Assim, introduzimos a otimização de preferência de autoconsistência (ScPO), que treina de forma iterativa respostas consistentes para serem preferidas em relação às inconsistentes em novos problemas não supervisionados. Mostramos que o ScPO resulta em grandes melhorias em relação ao treinamento convencional de modelos com recompensas em tarefas de raciocínio como GSM8K e MATH, reduzindo a diferença em relação ao treinamento supervisionado com respostas ou preferências corretas, e que a combinação do ScPO com aprendizado supervisionado padrão melhora ainda mais os resultados. No ZebraLogic, o ScPO ajusta finamente o Llama-3 8B para ser superior ao Llama-3 70B, Gemma-2 27B e Claude-3 Haiku.

English

Self-alignment, whereby models learn to improve themselves without human annotation, is a rapidly growing research area. However, existing techniques often fail to improve complex reasoning tasks due to the difficulty of assigning correct rewards. An orthogonal approach that is known to improve correctness is self-consistency, a method applied at inference time based on multiple sampling in order to find the most consistent answer. In this work, we extend the self-consistency concept to help train models. We thus introduce self-consistency preference optimization (ScPO), which iteratively trains consistent answers to be preferred over inconsistent ones on unsupervised new problems. We show ScPO leads to large improvements over conventional reward model training on reasoning tasks such as GSM8K and MATH, closing the gap with supervised training with gold answers or preferences, and that combining ScPO with standard supervised learning improves results even further. On ZebraLogic, ScPO finetunes Llama-3 8B to be superior to Llama-3 70B, Gemma-2 27B, and Claude-3 Haiku.