Измерение запоминания в RLHF для завершения кода

Measuring memorization in RLHF for code completion

June 17, 2024

Авторы: Aneesh Pappu, Billy Porter, Ilia Shumailov, Jamie Hayes

cs.AI

Аннотация

Обучение с подкреплением с обратной связью от человека (RLHF) стало доминирующим методом выравнивания больших моделей на предпочтения пользователей. В отличие от тонкой настройки, для которой существует множество исследований по запоминанию обучающих данных, неясно, как запоминание влияет на процесс выравнивания RLHF или как оно в него внедряется. Понимание этого взаимодействия важно, поскольку реальные данные пользователей могут быть собраны и использованы для выравнивания больших моделей; если данные пользователей запоминаются во время RLHF и позднее воспроизводятся, это может вызвать проблемы с конфиденциальностью. В данной работе мы анализируем, как запоминание обучающих данных может проявляться и распространяться через каждую фазу RLHF. Мы фокусируем наше исследование на моделях завершения кода, поскольку завершение кода является одним из самых популярных случаев использования больших языковых моделей. Мы обнаружили, что RLHF значительно уменьшает вероятность запоминания данных, используемых для моделирования вознаграждения и обучения с подкреплением, по сравнению с выравниванием путем прямой тонкой настройки на эти данные, но примеры, уже запомненные на этапе тонкой настройки RLHF, в большинстве случаев останутся запомненными после RLHF.

English

Reinforcement learning with human feedback (RLHF) has become the dominant method to align large models to user preferences. Unlike fine-tuning, for which there are many studies regarding training data memorization, it is not clear how memorization is affected by or introduced in the RLHF alignment process. Understanding this relationship is important as real user data may be collected and used to align large models; if user data is memorized during RLHF and later regurgitated, this could raise privacy concerns. In this work, we analyze how training data memorization can surface and propagate through each phase of RLHF. We focus our study on code completion models, as code completion is one of the most popular use cases for large language models. We find that RLHF significantly decreases the chance that data used for reward modeling and reinforcement learning is memorized, in comparison to aligning via directly fine-tuning on this data, but that examples already memorized during the fine-tuning stage of RLHF, will, in the majority of cases, remain memorized after RLHF.