Medindo a memorização no RLHF para conclusão de código

Measuring memorization in RLHF for code completion

June 17, 2024

Autores: Aneesh Pappu, Billy Porter, Ilia Shumailov, Jamie Hayes

cs.AI

Resumo

O aprendizado por reforço com feedback humano (RLHF, na sigla em inglês) tornou-se o método dominante para alinhar modelos de grande escala às preferências dos usuários. Diferentemente do ajuste fino (fine-tuning), para o qual existem muitos estudos sobre a memorização de dados de treinamento, não está claro como a memorização é afetada ou introduzida no processo de alinhamento via RLHF. Compreender essa relação é importante, pois dados reais de usuários podem ser coletados e usados para alinhar modelos de grande escala; se os dados dos usuários forem memorizados durante o RLHF e posteriormente regurgitados, isso pode levantar preocupações de privacidade. Neste trabalho, analisamos como a memorização de dados de treinamento pode surgir e se propagar em cada fase do RLHF. Nosso estudo foca em modelos de conclusão de código, já que a conclusão de código é um dos casos de uso mais populares para modelos de linguagem de grande escala. Descobrimos que o RLHF reduz significativamente a chance de que os dados usados para modelagem de recompensa e aprendizado por reforço sejam memorizados, em comparação com o alinhamento via ajuste fino direto nesses dados. No entanto, exemplos já memorizados durante a etapa de ajuste fino do RLHF permanecerão memorizados na maioria dos casos após a aplicação do RLHF.

English

Reinforcement learning with human feedback (RLHF) has become the dominant method to align large models to user preferences. Unlike fine-tuning, for which there are many studies regarding training data memorization, it is not clear how memorization is affected by or introduced in the RLHF alignment process. Understanding this relationship is important as real user data may be collected and used to align large models; if user data is memorized during RLHF and later regurgitated, this could raise privacy concerns. In this work, we analyze how training data memorization can surface and propagate through each phase of RLHF. We focus our study on code completion models, as code completion is one of the most popular use cases for large language models. We find that RLHF significantly decreases the chance that data used for reward modeling and reinforcement learning is memorized, in comparison to aligning via directly fine-tuning on this data, but that examples already memorized during the fine-tuning stage of RLHF, will, in the majority of cases, remain memorized after RLHF.