Messung der Memorierung in RLHF für Code-Vervollständigung.

Measuring memorization in RLHF for code completion

June 17, 2024

Autoren: Aneesh Pappu, Billy Porter, Ilia Shumailov, Jamie Hayes

cs.AI

Zusammenfassung

Das Lernen durch Verstärkung mit menschlichem Feedback (RLHF) hat sich als die vorherrschende Methode etabliert, um große Modelle an Benutzerpräferenzen auszurichten. Im Gegensatz zum Feinabgleich, zu dem viele Studien zur Memorierung von Trainingsdaten existieren, ist nicht klar, wie die Memorierung durch den RLHF-Abstimmungsprozess beeinflusst oder eingeführt wird. Das Verständnis dieser Beziehung ist wichtig, da echte Benutzerdaten gesammelt und zur Ausrichtung großer Modelle verwendet werden können; wenn Benutzerdaten während RLHF memorisiert und später wiedergegeben werden, könnte dies Datenschutzbedenken aufwerfen. In dieser Arbeit analysieren wir, wie die Memorierung von Trainingsdaten in jedem Phase des RLHF auftauchen und sich verbreiten kann. Wir konzentrieren uns in unserer Studie auf Code-Vervollständigungsmodelle, da die Code-Vervollständigung eines der beliebtesten Anwendungsfälle für große Sprachmodelle ist. Wir stellen fest, dass RLHF die Wahrscheinlichkeit, dass Daten, die für die Reward-Modellierung und das Lernen durch Verstärkung verwendet werden, memorisiert werden, im Vergleich zur Ausrichtung durch direktes Feinabgleichen dieser Daten, signifikant verringert, aber dass Beispiele, die bereits während der Feinabstimmungsphase von RLHF memorisiert wurden, in der Mehrheit der Fälle nach RLHF memorisiert bleiben.

English

Reinforcement learning with human feedback (RLHF) has become the dominant method to align large models to user preferences. Unlike fine-tuning, for which there are many studies regarding training data memorization, it is not clear how memorization is affected by or introduced in the RLHF alignment process. Understanding this relationship is important as real user data may be collected and used to align large models; if user data is memorized during RLHF and later regurgitated, this could raise privacy concerns. In this work, we analyze how training data memorization can surface and propagate through each phase of RLHF. We focus our study on code completion models, as code completion is one of the most popular use cases for large language models. We find that RLHF significantly decreases the chance that data used for reward modeling and reinforcement learning is memorized, in comparison to aligning via directly fine-tuning on this data, but that examples already memorized during the fine-tuning stage of RLHF, will, in the majority of cases, remain memorized after RLHF.